Créer et gérer des volumes persistants (PVs) avec Azure Blob Storage dans Azure Kubernetes Service (AKS)

Si plusieurs pods ont besoin d’un accès simultané au même volume de stockage, vous pouvez utiliser le stockage Blob Azure pour vous connecter à l’aide d’blobfuse ou de NFS (Network File System).

Cet article vous montre comment créer dynamiquement et statiquement des conteneurs de stockage Blob Azure à utiliser par plusieurs pods dans un cluster Azure Kubernetes Service (AKS).

Prerequisites

• Le pilote CSI de stockage Blob Azure est activé sur votre cluster AKS.

• Un compte de stockage activé NFS v3 pour pouvoir monter un volume persistant à l’aide du protocole NFS. Vous ne pouvez pas activer NFS v3 sur un compte de stockage existant. Pour plus d’informations, consultez Créer un compte NFS v3.

• Pour prendre en charge un compte Azure Data Lake Storage lors de l’utilisation du montage blobfuse, effectuez les tâches suivantes :

  • Pour créer un compte Data Lake Storage à l’aide du pilote dans l’approvisionnement dynamique, spécifiez isHnsEnabled: "true" les paramètres de classe de stockage.
  • Pour activer l’accès blobfuse à un compte Data Lake Storage dans l’approvisionnement statique, spécifiez l’option --use-adls=true de montage dans le volume persistant.
  • Si vous activez un compte de stockage avec un espace de noms hiérarchique, les volumes persistants existants doivent être remontés avec l’option de montage --use-adls=true appropriée.

• Par défaut, le cache blobfuse se trouve dans le /mnt répertoire. Si la référence SKU de machine virtuelle fournit un disque temporaire, le /mnt répertoire est monté sur le disque temporaire. Toutefois, si la référence SKU de machine virtuelle ne fournit pas de disque temporaire, le /mnt répertoire est monté sur le disque du système d’exploitation, vous pouvez définir --tmp-path= l’option de montage pour spécifier un autre répertoire de cache.

Utiliser des classes de stockage intégrées pour créer des PV dynamiques avec le stockage Blob Azure

Une classe de stockage est utilisée pour définir la façon dont un conteneur de stockage d’objets blob Azure est créé. Un compte de stockage est automatiquement créé dans le groupe de ressources de nœud pour être utilisé avec la classe de stockage afin de contenir le conteneur de stockage Azure Blob. Quand vous utilisez des pilotes de stockage CSI sur AKS, il y a deux autres StorageClasses intégrées qui utilisent le pilote de stockage Azure Blob CSI.

La stratégie de récupération sur les deux classes de stockage garantit que le stockage Azure Blob sous-jacent est supprimé lorsque le volume persistant respectif est supprimé. Les classes de stockage configurent également le conteneur pour qu’il soit extensible par défaut, car le paramètre set allowVolumeExpansion a la valeur true.

Vous pouvez sélectionner l’un des SKU de redondance de stockage Azure suivants pour le paramètre skuname dans la définition de la classe de stockage.

• Standard_LRS : stockage localement redondant standard
• Premium_LRS : stockage localement redondant Premium
• Standard_ZRS : stockage redondant dans une zone standard
• Premium_ZRS : stockage redondant interzone (ZRS) Premium
• Standard_GRS : stockage géoredondant standard
• Standard_RAGRS : Stockage géoredondant avec accès en lecture standard

Créer des classes de stockage personnalisées pour les PV dynamiques avec Stockage Blob Azure

Les classes de stockage par défaut conviennent à la plupart des scénarios. Dans certains cas, vous pouvez avoir votre propre classe de stockage personnalisée avec vos propres paramètres. Dans cette section, nous fournissons deux exemples : l’un utilisant le protocole NFS et l’autre à l’aide de blobfuse.

Exemple de classe de stockage personnalisé utilisant le protocole NFS

Le manifeste de cet exemple monte un conteneur de stockage Blob à l’aide du protocole NFS. Vous pouvez l’utiliser pour ajouter le tags paramètre.

1. Créez un fichier nommé blob-nfs-sc.yaml et collez-le dans l’exemple de manifeste suivant :

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-nfs
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   

2. Créez la classe de stockage à l’aide de la kubectl apply commande :

   kubectl apply -f blob-nfs-sc.yaml
   

   Votre sortie doit ressembler à l’exemple suivant :

   storageclass.storage.k8s.io/blob-nfs created
   

Exemple de classe de stockage personnalisé utilisant blobfuse

Le manifeste dans cet exemple utilise Blobfuse et monte un conteneur de stockage Blob. Vous pouvez l’utiliser pour mettre à jour le skuName paramètre.

1. Créez un fichier nommé blobfuse-sc.yaml et collez-le dans l’exemple de manifeste suivant :

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-fuse
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. Créez la classe de stockage à l’aide de la kubectl apply commande :

   kubectl apply -f blobfuse-sc.yaml
   

   Votre sortie doit ressembler à l’exemple suivant :

   storageclass.storage.k8s.io/blob-fuse created
   

Paramètres de classe de stockage pour les PV dynamiques avec Stockage Blob Azure

Utilisez les groupes de paramètres suivants pour définir une classe de stockage personnalisée pour vos revendications de volume persistant (PVC) avec Azure Stockage Blob :

• Compte de stockage : skuName, , locationresourceGroup, subscriptionID, networkEndpointTypetagsstorageAccountrequireInfraEncryptionaccessTierallowBlobPublicAccessallowSharedKeyAccesspublicNetworkAccess.matchTags
• Conteneur et point de terminaison : protocol, , containerName, useDataPlaneAPIstorageEndpointSuffixserversoftDeleteBlobscontainerNamePrefixsoftDeleteContainerset .enableBlobVersioning
• BlobFuse : storeAccountKey, , secretNamegetLatestAccountKey, secretNamespace, et isHnsEnabled.
• NFS : mountPermissions et fsGroupChangePolicy.
• Réseau virtuel : vnetResourceGroup, , subnetNamevnetNameet vnetLinkName.

Configurer les paramètres de compte de stockage pour les VV dynamiques avec Azure stockage d’objets blob

Utilisez les paramètres suivants pour configurer le compte de stockage Azure pour un pv approvisionné dynamiquement :

Configurer des paramètres de conteneur et de point de terminaison pour les VV dynamiques avec Azure stockage Blob

Utilisez les paramètres suivants pour configurer le conteneur, le protocole de montage, le point de terminaison de stockage et les balises d’un pv approvisionné dynamiquement :

Configurer des paramètres BlobFuse pour les VV dynamiques avec Azure stockage Blob

Les paramètres suivants s’appliquent uniquement lorsque vous utilisez BlobFuse pour un pv approvisionné dynamiquement :

Configurer des paramètres NFS pour les VV dynamiques avec Azure stockage Blob

Le paramètre suivant s’applique uniquement lorsque vous utilisez NFS pour un pv approvisionné dynamiquement :

Configurer des paramètres de réseau virtuel pour les machines virtuelles dynamiques avec Azure stockage d’objets blob

Utilisez les paramètres suivants lorsque le pilote configure l’accès au réseau virtuel pour un pv approvisionné dynamiquement :

Configurer des points de terminaison privés pour les VV dynamiques avec Azure stockage d’objets blob

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

Créer un PVC pour l’approvisionnement dynamique

Une revendication de volume persistant utilise l’objet de classe de stockage pour provisionner dynamiquement un stockage Blob Azure. Vous pouvez utiliser l’exemple de manifeste YAML dans cette section pour créer un PVC d'une taille de 5 Go avec un accès ReadWriteMany. Pour plus d’informations sur les modes d’accès, consultez les modes d’accès Kubernetes PV.

1. Créez un fichier nommé blob-nfs-pvc.yaml et collez-le dans le manifeste YAML suivant :

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. Créez le PVC à l’aide de la kubectl create commande :

   kubectl create -f blob-nfs-pvc.yaml
   

3. Affichez l’état du PVC avec la kubectl get commande :

   kubectl get pvc azure-blob-storage
   

   Votre sortie doit ressembler à l’exemple de sortie suivant, ce qui montre que le PVC est dans un Bound état :

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

Monter un volume de stockage d’objets blob provisionné dynamiquement dans un pod

Le YAML suivant crée un pod qui utilise la réclamation de volume persistant azure-blob-storage pour monter le stockage Blob Azure sur le chemin /mnt/blob.

1. Créez un fichier nommé blob-nfs-pv et collez le manifeste YAML suivant. Vérifiez que les correspondances avec claimName le PVC que vous avez créé précédemment (azure-blob-storage).

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. Créez le pod à l’aide de la kubectl apply commande :

   kubectl apply -f blob-nfs-pv.yaml
   

3. Une fois le pod en cours d’exécution, créez un fichier nommé test.txt à l’aide de la commande suivante :

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. Vérifiez que le disque est correctement monté à l’aide de la commande suivante pour répertorier les fichiers dans le répertoire monté :

   kubectl exec mypod -- ls /mnt/blob
   

   Votre sortie doit ressembler à l’exemple de sortie suivant, qui montre le test.txt fichier que vous avez créé dans le stockage Blob Azure monté :

   test.txt
   

Utiliser un StatefulSet pour gérer le cycle de vie d’un volume avec stockage Blob Azure

Pour conserver un volume de stockage pour votre charge de travail, vous pouvez utiliser un StatefulSet. Cet état permet d’assurer la correspondance entre les volumes existants et les nouveaux modules destinés à remplacer ceux défaillants. Les exemples suivants montrent comment configurer un StatefulSet pour le stockage d’objets blob à l’aide du protocole NFS ou d’Blobfuse.

Créer un PV statique avec Stockage Blob Azure

Les sections suivantes fournissent des instructions pour créer un PV statique avec le stockage Blob Azure. Un pv statique est un volume persistant créé manuellement par un administrateur. Ce PV est disponible pour être utilisé par les pods du cluster. Pour utiliser un PV statique, vous créez un PVC qui fait référence au PV, puis créez un pod qui fait référence au PVC.

Paramètres de volume CSI pour les applications virtuelles statiques avec Azure stockage d’objets blob

Le tableau suivant répertorie les paramètres que vous pouvez utiliser dans la source de volume CSI pour un pv statique avec Azure Stockage Blob :

Créer un conteneur de stockage Blob

Lorsque vous créez une ressource de stockage Blob Azure à utiliser avec AKS, vous pouvez créer la ressource dans le groupe de ressources de nœud. Cette approche permet au cluster AKS d’accéder à la ressource de stockage Blob et de la gérer.

1. Obtenez le nom du groupe de ressources de nœud de votre cluster AKS en utilisant la commande az aks show avec le paramètre --query nodeResourceGroup.

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   La sortie de la commande ressemble à l’exemple suivant :

   MC_myResourceGroup_myAKSCluster_eastus
   

2. Si vous créez le compte de stockage dans le groupe de ressources de nœud, utilisez le nom du groupe de ressources de nœud retourné à l’étape précédente (par exemple). MC_myResourceGroup_myAKSCluster_eastus Ensuite, suivez les étapes décrites dans Gérer le stockage d’objets blob pour autoriser l’accès et créer un conteneur dans ce compte de stockage.

Monter le volume

Dans cette section, vous montez le volume persistant à l’aide du protocole NFS ou d’Blobfuse.

Utiliser le volume persistant

Le fichier YAML suivant crée un pod qui utilise le PV ou le PVC nommé pvc-blob, créé précédemment, pour monter le stockage Azure Blob sur le chemin /mnt/blob.

1. Créez un fichier nommé nginx-pod-blob.yaml et collez-le dans le manifeste YAML suivant. Vérifiez que les correspondances avec claimName le PVC créé précédemment (pvc-blob).

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. Créez le pod et montez le PVC à l’aide de la kubectl create commande :

   kubectl create -f nginx-pod-blob.yaml
   

3. Créez une session shell interactive avec le pod pour vérifier que le stockage Blob est monté correctement à l’aide de la commande suivante kubectl exec :

   kubectl exec -it nginx-blob -- df -h
   

   Votre sortie devrait ressembler à l’exemple de sortie suivant, qui montre que le stockage Blob est monté sur le chemin /mnt/blob :

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

Contenu connexe

• Utiliser des balises Azure dans Azure Kubernetes Service (AKS)
• Problèmes connus de la prise en charge du protocole NFS (Network File System) 3.0 pour Stockage Blob Azure