Criar e gerir volumes persistentes (PVs) com armazenamento Azure Blob no Azure Kubernetes Service (AKS)

Se vários pods precisarem de acesso simultâneo ao mesmo volume de armazenamento, pode usar o armazenamento Azure Blob para se ligar usando blobfuse ou Network File System (NFS).

Este artigo mostra-lhe como criar dinâmica e estaticamente contentores de armazenamento Azure Blob para utilização por múltiplos pods num cluster Azure Kubernetes Service (AKS).

Pré-requisitos

• O driver CSI de armazenamento Azure Blob está ativado no seu cluster AKS.

• Uma conta de armazenamento com NFS v3 para que possas montar um volume persistente usando o protocolo NFS. Não podes ativar o NFS v3 numa conta de armazenamento existente. Para mais informações, consulte Criar uma conta NFS v3.

• Para suportar uma conta Azure Data Lake Storage ao usar o blobfuso montado, complete as seguintes tarefas:

  • Para criar uma conta Data Lake Storage usando o driver no provisionamento dinâmico, especifique isHnsEnabled: "true" nos parâmetros da classe de armazenamento.
  • Para permitir o acesso blobfuso a uma conta Data Lake Storage em provisionamento estático, especifique a opção --use-adls=true de montagem no volume persistente.
  • Se for ativar uma conta de armazenamento com Namespace Hierárquico, os volumes persistentes existentes devem ser remontados com a --use-adls=true opção de montagem.

• Por defeito, a cache do blobfuse está localizada no /mnt diretório. Se o SKU VM fornecer um disco temporário, o /mnt diretório é montado no disco temporário. No entanto, se o SKU da VM não fornecer um disco temporário, o /mnt diretório estiver montado no disco do sistema operativo, podes definir --tmp-path= a opção de montagem para especificar um diretório de cache diferente.

Use classes de armazenamento incorporadas para criar PVs dinâmicos com armazenamento Azure Blob

Uma classe de armazenamento é usada para definir como um contêiner de armazenamento de Blob do Azure é criado. Uma conta de armazenamento é criada automaticamente no grupo de recursos do nó para uso com a classe de armazenamento para armazenar o contêiner de armazenamento de Blob do Azure. Quando usas drivers CSI de armazenamento no AKS, há dois componentes adicionais incorporados que usam o driver CSI de armazenamento Azure Blob.

A política de recuperação em ambas as classes de armazenamento garante que o armazenamento subjacente do Azure Blob seja eliminado quando o respetivo Volume Persistente (PV) for eliminado. As classes de armazenamento também configuram o contêiner para ser expansível por padrão, pois o set allowVolumeExpansion parâmetro é definido como true.

Pode selecionar um dos SKUs de redundância de armazenamento do Azure seguintes para o parâmetro na definição da classe de armazenamento.

• Standard_LRS: Armazenamento padrão com redundância local
• Premium_LRS: Armazenamento com redundância local premium
• Standard_ZRS: Armazenamento redundante de zona padrão
• Premium_ZRS: Armazenamento redundante de zona Premium
• Standard_GRS: Armazenamento com redundância geográfica padrão
• Standard_RAGRS: Armazenamento padrão com redundância geográfica de acesso de leitura

Criar classes de armazenamento personalizadas para PVs dinâmicos com armazenamento Azure Blob

As classes de armazenamento padrão são adequadas para a maioria dos cenários. Em alguns casos, pode querer personalizar a sua própria classe de armazenamento com os seus próprios parâmetros. Nesta secção, apresentamos dois exemplos: um usando protocolo NFS e outro usando blobfuse.

Exemplo de classe de armazenamento personalizada usando protocolo NFS

O manifesto neste exemplo monta um contentor de armazenamento de blob usando o protocolo NFS. Podes usá-lo para adicionar o tags parâmetro.

1. Crie um ficheiro com nome blob-nfs-sc.yaml e cole no seguinte manifesto de exemplo:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-nfs
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   

2. Crie a classe de armazenamento usando o kubectl apply comando:

   kubectl apply -f blob-nfs-sc.yaml
   

   Sua saída deve ser semelhante à saída de exemplo a seguir:

   storageclass.storage.k8s.io/blob-nfs created
   

Exemplo de classe de armazenamento personalizada usando blobfuse

O manifesto neste exemplo utiliza blobfuse e monta um contentor de armazenamento Blob. Podes usá-lo para atualizar o skuName parâmetro.

1. Crie um ficheiro com nome blobfuse-sc.yaml e cole no seguinte manifesto de exemplo:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-fuse
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. Crie a classe de armazenamento usando o kubectl apply comando:

   kubectl apply -f blobfuse-sc.yaml
   

   Sua saída deve ser semelhante à saída de exemplo a seguir:

   storageclass.storage.k8s.io/blob-fuse created
   

Parâmetros de classe de armazenamento para PVs dinâmicos com armazenamento Azure Blob

Use os seguintes grupos de parâmetros para definir uma classe de armazenamento personalizada para as suas reivindicações de volume persistente (PVCs) com armazenamento Azure Blob:

• Conta de armazenamento: skuName, location, resourceGroup, subscriptionID, storageAccountnetworkEndpointType, requireInfraEncryptionaccessTierallowSharedKeyAccesspublicNetworkAccessallowBlobPublicAccesstagse .matchTags
• Contentor e ponto final: protocol, containerName, containerNamePrefix, server, storageEndpointSuffix, useDataPlaneAPI, softDeleteBlobs, , softDeleteContainers, e enableBlobVersioning.
• BlobFuse: storeAccountKey, getLatestAccountKey, secretName, secretNamespace, e isHnsEnabled.
• NFS: mountPermissions e fsGroupChangePolicy.
• Rede virtual: vnetResourceGroup, vnetName, subnetName, e vnetLinkName.

Configurar parâmetros de conta de armazenamento para PVs dinâmicos com armazenamento Azure Blob

Use os seguintes parâmetros para configurar a conta de armazenamento Azure para um PV provisionado dinamicamente:

Configure parâmetros de contentores e endpoints para PVs dinâmicos com armazenamento Azure Blob

Use os seguintes parâmetros para configurar o contentor, protocolo de montagem, endpoint de armazenamento e etiquetas para um PV provisionado dinamicamente:

Configure parâmetros BlobFuse para PVs dinâmicos com armazenamento Azure Blob

Os seguintes parâmetros aplicam-se apenas quando usar o BlobFuse para um PV provisionado dinamicamente:

Configure parâmetros NFS para PVs dinâmicos com armazenamento Azure Blob

O seguinte parâmetro aplica-se apenas quando se usa NFS para um PV provisionado dinamicamente:

Configure parâmetros de rede virtual para PVs dinâmicos com armazenamento Azure Blob

Use os seguintes parâmetros quando o driver configura o acesso virtual à rede para um PV provisionado dinamicamente:

Configure endpoints privados para PVs dinâmicos com armazenamento Azure Blob

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

Criar um PVC para provisão dinâmica

Um PVC utiliza o objeto da classe de armazenamento para provisionar dinamicamente um armazenamento do Azure Blob. Pode usar o manifesto YAML de exemplo nesta sessão para criar um PVC de 5 GB com acesso ReadWriteMany. Para mais informações sobre modos de acesso, veja Modos de acesso PV do Kubernetes.

1. Crie um ficheiro com o nome blob-nfs-pvc.yaml e cole no seguinte manifesto YAML:

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. Crie o PVC usando o kubectl create comando:

   kubectl create -f blob-nfs-pvc.yaml
   

3. Veja o estado do PVC com o kubectl get comando:

   kubectl get pvc azure-blob-storage
   

   A sua saída deve assemelhar-se ao seguinte exemplo de saída, que mostra que o PVC está num Bound estado:

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

Montar um volume de armazenamento de blob provisionado dinamicamente num pod

O YAML seguinte cria um pod que utiliza a reivindicação de volume persistente azure-blob-storage para montar o armazenamento Azure Blob no caminho /mnt/blob.

1. Crie um arquivo chamado blob-nfs-pv e cole o seguinte manifesto YAML. Certifique-se de que corresponde claimName ao PVC que criou anteriormente (azure-blob-storage).

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. Crie o pod usando o kubectl apply comando:

   kubectl apply -f blob-nfs-pv.yaml
   

3. Quando o pod estiver a correr com sucesso, crie um novo ficheiro nomeado test.txt usando o seguinte comando:

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. Valide que o disco está corretamente montado usando o seguinte comando para listar os ficheiros no diretório montado:

   kubectl exec mypod -- ls /mnt/blob
   

   A sua saída deve assemelhar-se ao seguinte exemplo de saída, que mostra o ficheiro test.txt que criou no armazenamento Azure Blob montado.

   test.txt
   

Use um StatefulSet para gerir o ciclo de vida de um volume com armazenamento Azure Blob

Para que um volume de armazenamento persista para sua carga de trabalho, você pode usar um StatefulSet. Este estado facilita a correspondência de volumes existentes com novos pods que substituem os que falharam. Os exemplos seguintes demonstram como configurar um StatefulSet para armazenamento Blob usando o protocolo NFS ou Blobfuse.

Crie um PV estático com armazenamento em Blob do Azure

As secções seguintes fornecem instruções para criar um PV estático com armazenamento Azure Blob. Um PV estático é um volume persistente que um administrador cria manualmente. Este PV está disponível para uso em cápsulas no cluster. Para usar um PV estático, cria-se um PVC que faz referência ao PV e depois cria-se um pod que faz referência ao PVC.

Parâmetros de volume CSI para PVs estáticos com armazenamento Azure Blob

A tabela seguinte lista parâmetros que pode usar na fonte de volume CSI para um PV estático com armazenamento Azure Blob:

Criar um contentor de armazenamento Blob

Quando crias um recurso de armazenamento Azure Blob para usar com o AKS, podes criar o recurso no grupo de recursos de nós. Esta abordagem permite ao cluster AKS aceder e gerir o recurso de armazenamento de blobs.

1. Obtenha o nome do grupo de recursos de nós do seu cluster AKS usando o az aks show comando com o --query nodeResourceGroup parâmetro.

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   A saída do comando é semelhante ao seguinte exemplo:

   MC_myResourceGroup_myAKSCluster_eastus
   

2. Se criar a conta de armazenamento no grupo de recursos de nós, use o nome do grupo de recursos de nós devolvido no passo anterior (por exemplo, MC_myResourceGroup_myAKSCluster_eastus). Depois, siga os passos em Gerir armazenamento de blobs para autorizar o acesso e crie um contentor nessa conta de armazenamento.

Volume de montagem

Nesta secção, monta o volume persistente usando o protocolo NFS ou Blobfuse.

Utilize o volume persistente

O YAML seguinte cria um pod que utiliza o PV ou PVC nomeado pvc-blob criado anteriormente para montar o armazenamento Azure Blob no caminho /mnt/blob.

1. Crie um ficheiro com nome nginx-pod-blob.yaml e cole no seguinte manifesto YAML. Certifique-se de que corresponde claimName ao PVC criado anteriormente (pvc-blob).

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. Crie a cápsula e monte o PVC usando o kubectl create comando:

   kubectl create -f nginx-pod-blob.yaml
   

3. Crie uma sessão interativa de shell com o pod para verificar se o armazenamento Blob está corretamente montado usando o seguinte kubectl exec comando:

   kubectl exec -it nginx-blob -- df -h
   

   A sua saída deve assemelhar-se ao seguinte exemplo de saída, que mostra que o Armazenamento Blob está montado no caminho /mnt/blob.

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

Conteúdo relacionado

• usa etiquetas de Azure em Azure Kubernetes Service (AKS)
• Problemas conhecidos com o suporte do protocolo NFS (Network File System) 3.0 para o Armazenamento de Blobs do Azure