Criar e gerenciar volumes persistentes com os Armazenamento de Blobs do Azure no Serviço de Kubernetes do Azure (AKS)

Se vários pods precisarem de acesso simultâneo ao mesmo volume de armazenamento, você poderá usar o Armazenamento de Blobs do Azure para se conectar usando blobfuse ou NFS (Sistema de Arquivos de Rede).

Este artigo mostra como criar dinamicamente e estaticamente contêineres de Armazenamento de Blobs do Azure para uso por vários pods em um cluster do AKS (Serviço de Kubernetes do Azure).

Pré-requisitos

• O driver de CSI do Armazenamento de Blobs do Azure habilitado no seu cluster do AKS.

• Uma conta de armazenamento habilitada para NFS v3 para que você possa montar um volume persistente usando o protocolo NFS. Você não pode habilitar o NFS v3 em uma conta de armazenamento existente. Para obter mais informações, consulte Criar uma conta NFS v3.

• Para dar suporte a uma conta Azure Data Lake Storage ao usar a montagem de blobfuse, conclua as seguintes tarefas:

  • Para criar uma conta Data Lake Storage usando o driver no provisionamento dinâmico, especifique isHnsEnabled: "true" nos parâmetros da classe de armazenamento.
  • Para habilitar o acesso de blobfuse a uma conta Data Lake Storage no provisionamento estático, especifique a opção --use-adls=true de montagem no volume persistente.
  • Se você for habilitar uma conta de armazenamento com Namespace Hierárquico, os volumes persistentes (PVs) existentes deverão ser remontados com a opção de montagem --use-adls=true.

• Por padrão, o cache de blobfuse está localizado no /mnt diretório. Se o SKU da VM fornecer um disco temporário, o /mnt diretório será montado no disco temporário. No entanto, se o SKU da VM não fornecer um disco temporário, o /mnt diretório será montado no disco do sistema operacional, você poderá definir --tmp-path= a opção de montagem para especificar um diretório de cache diferente.

Usar classes de armazenamento integradas para criar PVs dinâmicos com o Armazenamento de Blobs do Azure

Uma classe de armazenamento é usada para definir como um contêiner de Armazenamento de Blobs do Azure é criado. Uma conta de armazenamento é criada automaticamente no grupo de recursos do nó para uso com a classe de armazenamento para reter o contêiner de armazenamento de blobs do Azure. Ao usar drivers CSI de armazenamento no AKS, existem outros dois drivers adicionais integrados StorageClasses que utilizam o driver de CSI do Armazenamento de Blobs do Azure.

A política de recuperação em ambas as classes de armazenamento garante que o armazenamento de blobs subjacente do Azure seja excluído quando o respectivo PV for excluído. As classes de armazenamento também configuram o contêiner para ser expansível por padrão, pois o parâmetro set allowVolumeExpansion é definido como true.

Você pode selecionar um dos seguintes SKUs de redundância de armazenamento do Azure para o parâmetro skuname na definição da classe de armazenamento:

• Standard_LRS: Armazenamento com redundância local padrão
• Premium_LRS: Armazenamento com redundância local Premium
• Standard_ZRS: armazenamento com redundância de zona Standard
• Premium_ZRS: armazenamento com redundância de zona Premium
• Standard_GRS: Armazenamento com redundância geográfica padrão
• Standard_RAGRS: Armazenamento com redundância geográfica de acesso de leitura padrão

Criar classes de armazenamento personalizadas para volumes persistentes dinâmicos (PVs) com o Azure Blob Storage

As classes de armazenamento padrão são adequadas para a maioria dos cenários. Em alguns casos, talvez você queira ter sua própria classe de armazenamento personalizada com seus próprios parâmetros. Nesta seção, fornecemos dois exemplos: um usando o protocolo NFS e outro usando blobfuse.

Exemplo de classe de armazenamento personalizada usando o protocolo NFS

O manifesto neste exemplo monta um contêiner de armazenamento de blobs usando o protocolo NFS. Você pode usá-lo para adicionar o tags parâmetro.

1. Crie um arquivo nomeado blob-nfs-sc.yaml e cole no seguinte manifesto de exemplo:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-nfs
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   

2. Crie a classe de armazenamento usando o kubectl apply comando:

   kubectl apply -f blob-nfs-sc.yaml
   

   Sua saída deve ser parecida com o seguinte exemplo de saída:

   storageclass.storage.k8s.io/blob-nfs created
   

Exemplo de classe de armazenamento personalizada usando blobfuse

O manifesto neste exemplo usa blobfuse e monta um contêiner de armazenamento Blob. Você pode usá-lo para atualizar o skuName parâmetro.

1. Crie um arquivo nomeado blobfuse-sc.yaml e cole no seguinte manifesto de exemplo:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-fuse
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. Crie a classe de armazenamento usando o kubectl apply comando:

   kubectl apply -f blobfuse-sc.yaml
   

   Sua saída deve ser parecida com o seguinte exemplo de saída:

   storageclass.storage.k8s.io/blob-fuse created
   

Parâmetros de classe de armazenamento para PVs dinâmicos com armazenamento de Blob do Azure

Use os seguintes grupos de parâmetros para definir uma classe de armazenamento personalizada para suas PVCs (declarações de volume persistente) com Azure Armazenamento de Blobs:

• Conta de armazenamento: skuName, , location, resourceGroup, subscriptionID, storageAccount, networkEndpointType, accessTier, , allowBlobPublicAccess, allowSharedKeyAccess, requireInfraEncryption, , publicNetworkAccess, , e tagsmatchTags.
• Contêiner e ponto de extremidade: protocol, , containerName, containerNamePrefix, server, storageEndpointSuffix, , useDataPlaneAPI, softDeleteBlobs, e softDeleteContainersenableBlobVersioning.
• BlobFuse: storeAccountKey, , getLatestAccountKey, secretName, secretNamespacee isHnsEnabled.
• NFS: mountPermissions e fsGroupChangePolicy.
• Rede virtual: vnetResourceGroup, , vnetNamee subnetNamevnetLinkName.

Configurar parâmetros de conta de armazenamento para PVs dinâmicas com Azure Armazenamento de Blobs

Use os seguintes parâmetros para configurar a conta de armazenamento Azure para um PV provisionado dinamicamente:

Configurar parâmetros de contêiner e ponto de extremidade para PVs dinâmicas com Azure Armazenamento de Blobs

Use os seguintes parâmetros para configurar o contêiner, o protocolo de montagem, o ponto de extremidade de armazenamento e as marcas para um PV provisionado dinamicamente:

Configurar parâmetros do BlobFuse para PVs dinâmicas com Azure Armazenamento de Blobs

Os seguintes parâmetros se aplicam somente quando você usa o BlobFuse para um PV provisionado dinamicamente:

Configurar parâmetros NFS para PVs dinâmicas com Azure Armazenamento de Blobs

O parâmetro a seguir só se aplica quando você usa o NFS para um PV provisionado dinamicamente:

Configurar parâmetros de rede virtual para PVs dinâmicas com armazenamento de Blobs Azure

Use os seguintes parâmetros quando o driver configurar o acesso à rede virtual para um PV provisionado dinamicamente:

Configurar pontos de extremidade privados para PVs dinâmicas com Azure Armazenamento de Blobs

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

Criar um PVC para provisionamento dinâmico

Um PVC usa o objeto da classe de armazenamento para provisionar dinamicamente um Armazenamento de Blobs do Azure. Você pode usar o manifesto YAML de exemplo nesta seção para criar um PVC com 5 GB de tamanho com acesso ReadWriteMany. Para obter mais informações sobre os modos de acesso, consulte os modos de acesso PV do Kubernetes.

1. Crie um arquivo nomeado blob-nfs-pvc.yaml e cole no seguinte manifesto YAML:

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. Crie o PVC usando o kubectl create comando:

   kubectl create -f blob-nfs-pvc.yaml
   

3. Exiba o status do PVC com o kubectl get comando:

   kubectl get pvc azure-blob-storage
   

   Sua saída deve ser semelhante à seguinte saída de exemplo, que mostra que o PVC está em um Bound estado:

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

Montar um volume de armazenamento de blobs provisionado dinamicamente em um pod

O YAML a seguir cria um pod que usa a declaração de volume persistente azure-blob-storage para montar o Armazenamento de Blobs do Azure no caminho /mnt/blob.

1. Crie um arquivo chamado blob-nfs-pv e cole o manifesto YAML a seguir. Verifique se o claimName PVC que você criou anteriormente (azure-blob-storage).

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. Crie o pod usando o kubectl apply comando:

   kubectl apply -f blob-nfs-pv.yaml
   

3. Depois que o pod estiver em execução com êxito, crie um novo arquivo nomeado test.txt usando o seguinte comando:

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. Valide se o disco foi montado corretamente usando o seguinte comando para listar os arquivos no diretório montado:

   kubectl exec mypod -- ls /mnt/blob
   

   Sua saída deve ser semelhante à seguinte saída de exemplo, que mostra o arquivo test.txt que você criou no Armazenamento de Blobs do Azure montado:

   test.txt
   

Usar um StatefulSet para gerenciar o ciclo de vida de um volume com o armazenamento de blobs do Azure

Um StatefulSet pode ser usado para que um volume de armazenamento persista para sua carga de trabalho. Este estado facilita a correspondência de volumes existentes com novos pods que substituem os que falharam. Os exemplos a seguir demonstram como configurar um StatefulSet para Armazenamento de Blobs usando o protocolo NFS ou Blobfuse.

Criar um PV estático usando o Azure Blob Storage

As seções a seguir fornecem instruções para configurar um PV estático com o armazenamento de Blobs do Azure. Um PV estático é um volume persistente que um administrador cria manualmente. Esse PV está disponível para uso por pods no cluster. Para usar um PV estático, você cria um PVC que faz referência ao PV e, em seguida, cria um pod que faz referência ao PVC.

Parâmetros de volume csi para PVs estáticas com armazenamento de Blobs Azure

A tabela a seguir lista os parâmetros que você pode usar na fonte de volume CSI para um PV estático com Azure Armazenamento de Blobs:

Criar um contêiner de armazenamento de Blob

Ao criar um recurso de armazenamento de Blobs do Azure para uso com o AKS, pode criar o recurso no grupo de recursos nó. Essa abordagem permite que o cluster do AKS acesse e gerencie o recurso de armazenamento de blobs.

1. Obtenha o nome do grupo de recursos do nó do cluster do AKS usando o comando az aks show com o parâmetro --query nodeResourceGroup.

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   A saída do comando é semelhante ao seguinte exemplo:

   MC_myResourceGroup_myAKSCluster_eastus
   

2. Se você criar a conta de armazenamento no grupo de recursos do nó, use o nome do grupo de recursos do nó retornado na etapa anterior (por exemplo, MC_myResourceGroup_myAKSCluster_eastus). Em seguida, siga as etapas em Gerenciar armazenamento de blobs para autorizar o acesso e criar um contêiner nessa conta de armazenamento.

Montar volume

Nesta seção, você montará o volume persistente usando o protocolo NFS ou Blobfuse.

Usar o volume persistente

O seguinte arquivo YAML cria um pod que usa o PV ou PVC chamado pvc-blob, criado anteriormente para montar o Armazenamento de Blobs do Azure no caminho /mnt/blob especificado.

1. Crie um arquivo nomeado nginx-pod-blob.yaml e cole no manifesto YAML a seguir. Verifique se corresponde claimName ao PVC criado anteriormente (pvc-blob).

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. Crie o pod e monte o PVC usando o kubectl create comando:

   kubectl create -f nginx-pod-blob.yaml
   

3. Crie uma sessão de shell interativa com o pod para verificar o armazenamento de Blobs montado usando o comando kubectl exec:

   kubectl exec -it nginx-blob -- df -h
   

   Sua saída deve ser semelhante ao exemplo de saída a seguir, que mostra que o armazenamento de Blob está montado no caminho /mnt/blob.

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

Conteúdo relacionado

• Usar tags do Azure no AKS (Serviço de Kubernetes do Azure)
• Problemas conhecidos no suporte do protocolo NFS 3.0 para o Armazenamento de Blobs do Azure