Creación y administración de volúmenes persistentes con Azure Blob Storage en Azure Kubernetes Service (AKS)

Si varios pods necesitan acceso simultáneo al mismo volumen de almacenamiento, puede usar Azure Blob Storage para conectarse mediante blobfuse o Network File System (NFS).

En este artículo se muestra cómo crear contenedores de Azure Blob Storage de forma dinámica y estática para su uso por varios pods en un clúster de Azure Kubernetes Service (AKS).

Prerrequisitos

• El controlador CSI de Azure Blob Storage está habilitado en el clúster de AKS.

• Una cuenta de almacenamiento habilitada para NFS v3 para poder montar un volumen persistente mediante el protocolo NFS. No se puede habilitar NFS v3 en una cuenta de almacenamiento existente. Para obtener más información, consulte Creación de una cuenta de NFS v3.

• Para admitir una cuenta de Azure Data Lake Storage al usar el montaje de blobfuse, complete las siguientes tareas:

  • Para crear una cuenta de Data Lake Storage mediante el controlador en el aprovisionamiento dinámico, especifique isHnsEnabled: "true" en los parámetros de la clase de almacenamiento.
  • Para habilitar el acceso de blobfuse a una cuenta de Data Lake Storage en el aprovisionamiento estático, especifique la opción --use-adls=true de montaje en el volumen persistente.
  • Si vas a habilitar una cuenta de almacenamiento con espacio de nombres jerárquico, se deben volver a montar los volúmenes persistentes existentes utilizando la opción de montaje --use-adls=true.

• De forma predeterminada, la caché de blobfuse se encuentra en el /mnt directorio . Si la SKU de máquina virtual proporciona un disco temporal, el /mnt directorio se monta en el disco temporal. Sin embargo, si la SKU de VM no proporciona un disco temporal, el directorio /mnt se monta en el disco del sistema operativo; puede establecer la opción de montaje --tmp-path= para especificar un directorio de caché diferente.

Uso de clases de almacenamiento integradas para crear PV dinámicos con Azure Blob Storage

Se usa una clase de almacenamiento para definir cómo se crea un contenedor de Azure Blob Storage. En el grupo de recursos de nodo, se crea automáticamente una cuenta de almacenamiento para utilizarla con la clase de almacenamiento para guardar el contenedor de Azure Blob Storage. Cuando se usan controladores CSI de almacenamiento en AKS, hay dos clases StorageClasses integradas adicionales que usan los controladores CSI de Azure Blob Storage.

La directiva de recuperación de ambas clases de almacenamiento garantiza que el recurso compartido de Azure Blob Storage subyacente se elimine cuando se elimine el PV correspondiente. Las clases de almacenamiento también configuran el contenedor para que se pueda expandir de forma predeterminada, ya que el parámetro set allowVolumeExpansion se establece en true.

Puede seleccionar una de las siguientes SKU de redundancia de almacenamiento de Azure para el parámetro skuname en la definición de clase de almacenamiento:

• Standard_LRS: almacenamiento con redundancia local estándar
• Premium_LRS: almacenamiento con redundancia local Premium
• Standard_ZRS: almacenamiento con redundancia de zona
• Premium_ZRS: almacenamiento con redundancia de zona prémium (ZRS)
• Standard_GRS: almacenamiento con redundancia geográfica estándar
• Standard_RAGRS: almacenamiento con redundancia geográfica con acceso de lectura estándar

Creación de clases de almacenamiento personalizadas para máquinas virtuales dinámicas con Azure Blob Storage

Las clases de almacenamiento predeterminadas son adecuadas para la mayoría de los escenarios. En algunos casos, es posible que quiera tener su propia clase de almacenamiento personalizada con sus propios parámetros. En esta sección, se proporcionan dos ejemplos: uno mediante el protocolo NFS y otro mediante blobfuse.

Ejemplo de clase de almacenamiento personalizado mediante el protocolo NFS

El manifiesto de este ejemplo monta un contenedor de Blob Storage mediante el protocolo NFS. Puede usarlo para agregar el tags parámetro .

1. Cree un archivo denominado blob-nfs-sc.yaml y pegue el siguiente manifiesto de ejemplo:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-nfs
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   

2. Cree la clase de almacenamiento mediante el kubectl apply comando :

   kubectl apply -f blob-nfs-sc.yaml
   

   La salida debería ser similar a la salida de ejemplo siguiente:

   storageclass.storage.k8s.io/blob-nfs created
   

Ejemplo de clase de almacenamiento personalizada mediante blobfuse

El manifiesto de este ejemplo usa blobfuse y monta un contenedor de Blob Storage. Puede usarlo para actualizar el skuName parámetro .

1. Cree un archivo denominado blobfuse-sc.yaml y pegue el siguiente manifiesto de ejemplo:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-fuse
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. Cree la clase de almacenamiento mediante el kubectl apply comando :

   kubectl apply -f blobfuse-sc.yaml
   

   La salida debería ser similar a la salida de ejemplo siguiente:

   storageclass.storage.k8s.io/blob-fuse created
   

Parámetros de clase de almacenamiento para PVs dinámicos con Azure Blob Storage

Use los siguientes grupos de parámetros para definir una clase de almacenamiento personalizada para las notificaciones de volumen persistentes (PVC) con Azure Blob Storage:

• Cuenta de almacenamiento: skuName, location, , resourceGroupsubscriptionID, storageAccount, accessTierallowSharedKeyAccessrequireInfraEncryptionnetworkEndpointTypeallowBlobPublicAccess, publicNetworkAccess, , tagsy .matchTags
• Contenedor y punto de conexión: protocol, containerName, containerNamePrefix, useDataPlaneAPIsoftDeleteBlobssoftDeleteContainersserverstorageEndpointSuffixy .enableBlobVersioning
• BlobFuse: storeAccountKey, getLatestAccountKey, secretName, secretNamespace, y isHnsEnabled.
• NFS: mountPermissions y fsGroupChangePolicy.
• Red virtual: vnetResourceGroup, vnetName, subnetNamey vnetLinkName.

Configuración de parámetros de cuenta de almacenamiento para PVs dinámicos con Azure Blob Storage

Use los parámetros siguientes para configurar la cuenta de almacenamiento de Azure para un PV aprovisionado dinámicamente:

Configuración de parámetros de contenedor y punto de conexión para PVs dinámicos con Azure Blob Storage

Use los parámetros siguientes para configurar el contenedor, el protocolo de montaje, el punto de conexión de almacenamiento y las etiquetas para un PV aprovisionado dinámicamente:

Configuración de parámetros de BlobFuse para PVs dinámicos con Azure Blob Storage

Los parámetros siguientes solo se aplican cuando se usa BlobFuse para un PV aprovisionado dinámicamente:

Configuración de parámetros NFS para PVs dinámicos con Azure Blob Storage

El siguiente parámetro solo se aplica cuando se usa NFS para un PV aprovisionado dinámicamente:

Configuración de parámetros de red virtual para PVs dinámicos con Azure Blob Storage

Use los parámetros siguientes cuando el controlador configure el acceso a la red virtual para un PV aprovisionado dinámicamente:

Configuración de puntos de conexión privados para PVs dinámicos con Azure Blob Storage

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

Creación de una PVC para el aprovisionamiento dinámico

Una PVC utiliza el objeto de clase de almacenamiento para aprovisionar dinámicamente un Azure Blob Storage. Puede usar el manifiesto YAML de ejemplo de esta sección para crear una PVC con un tamaño de 5 GB y acceso ReadWriteMany. Para más información sobre los modos de acceso, consulte Modos de acceso PV de Kubernetes.

1. Cree un archivo denominado blob-nfs-pvc.yaml y pegue el siguiente manifiesto YAML:

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. Cree el PVC mediante el kubectl create comando :

   kubectl create -f blob-nfs-pvc.yaml
   

3. Vea el estado del PVC con el kubectl get comando :

   kubectl get pvc azure-blob-storage
   

   La salida debe ser similar al siguiente ejemplo, que muestra que la PVC está en estado Bound:

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

Montaje de un volumen de almacenamiento de blobs aprovisionado dinámicamente en un pod

El siguiente YAML crea un pod que usa la reclamación de volumen persistente azure-blob-storage para montar Azure Blob Storage en la ruta /mnt/blob.

1. Cree un archivo denominado blob-nfs-pv y pegue el siguiente manifiesto de YAML. Asegúrese de que coincide con claimName el PVC que creó anteriormente (azure-blob-storage).

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. Cree el pod mediante el kubectl apply comando :

   kubectl apply -f blob-nfs-pv.yaml
   

3. Una vez que el pod se esté ejecutando correctamente, cree un nuevo archivo denominado test.txt con el siguiente comando:

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. Valide que el disco se monta correctamente mediante el siguiente comando para enumerar los archivos del directorio montado:

   kubectl exec mypod -- ls /mnt/blob
   

   La salida debe ser similar a la siguiente salida de ejemplo, que muestra el archivo test.txt que creó en Azure Blob Storage montado:

   test.txt
   

Uso de StatefulSet para administrar el ciclo de vida de un volumen con Azure Blob Storage

Para que un volumen de almacenamiento persista para la carga de trabajo, puede usar StatefulSet. Este estado permite de forma más sencilla asignar los volúmenes existentes con los nuevos pods que reemplazan a los que tenían errores. En los ejemplos siguientes se muestra cómo configurar un StatefulSet para Blob Storage mediante el protocolo NFS o Blobfuse.

Creación de un PV estático con Azure Blob Storage

En las secciones siguientes se proporcionan instrucciones para crear un PV estático con Azure Blob Storage. Un PV estático es un volumen persistente que un administrador crea manualmente. Este PV está disponible para su uso por parte de los pods del clúster. Para usar un PV estático, cree un PVC que haga referencia al PV y, a continuación, cree un pod que haga referencia al PVC.

Parámetros de volumen CSI para PVs estáticos con Azure Blob Storage

En la tabla siguiente se enumeran los parámetros que puede usar en el origen del volumen CSI para un PV estático con Azure Blob Storage:

Crear un contenedor de almacenamiento de blobs

Al crear un recurso de Azure Blob Storage para su uso con AKS, puede crear el recurso en el grupo de recursos del nodo. Este enfoque permite que el clúster de AKS acceda y administre el recurso de Blob Storage.

1. Para obtener el nombre del grupo de recursos del nodo de su clúster de AKS, use el comando az aks show con el parámetro --query nodeResourceGroup.

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   La salida del comando es similar al ejemplo siguiente:

   MC_myResourceGroup_myAKSCluster_eastus
   

2. Si crea la cuenta de almacenamiento en el grupo de recursos del nodo, use el nombre del grupo de recursos de nodo devuelto en el paso anterior (por ejemplo, MC_myResourceGroup_myAKSCluster_eastus). A continuación, siga los pasos descritos en Administración del almacenamiento de blobs para autorizar el acceso y crear un contenedor en esa cuenta de almacenamiento.

Montar volumen

En esta sección, montará el volumen persistente mediante el protocolo NFS o Blobfuse.

Utiliza el volumen persistente

El siguiente código YAML crea un pod que usa el PV o PVC denominado pvc-blob creado anteriormente para montar Azure Blob Storage en la ruta /mnt/blob.

1. Cree un archivo denominado nginx-pod-blob.yaml y pegue el siguiente manifiesto YAML. Asegúrese de que coincide claimName con el PVC creado anteriormente (pvc-blob).

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. Cree el pod y monte el PVC usando el comando kubectl create.

   kubectl create -f nginx-pod-blob.yaml
   

3. Cree una sesión de shell interactiva con el pod para comprobar que Blob Storage se monta correctamente mediante el siguiente kubectl exec comando:

   kubectl exec -it nginx-blob -- df -h
   

   La salida debe ser similar a la siguiente salida de ejemplo, que muestra que Blob Storage se monta en la ruta /mnt/blob:

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

Contenido relacionado

• Uso de etiquetas de Azure en Azure Kubernetes Service (AKS)
• Problemas conocidos de la compatibilidad del protocolo Network File System (NFS) 3.0 con Azure Blob Storage