Erstellen und Verwalten persistenter Volumes (PVs) mit Azure Blob Storage in Azure Kubernetes Service (AKS)

Wenn mehrere Pods gleichzeitigen Zugriff auf dasselbe Speichervolume benötigen, können Sie Azure Blob Storage verwenden, um eine Verbindung mit Blobfuse oder Network File System (NFS) herzustellen.

In diesem Artikel erfahren Sie, wie Sie Azure Blob Storage-Container dynamisch und statisch erstellen, die von mehreren Pods in einem Azure Kubernetes Service (AKS)-Cluster verwendet werden.

Voraussetzungen

• Der Azure Blob Storage CSI-Treiber , der auf Ihrem AKS-Cluster aktiviert ist.

• Ein Speicherkonto, das NFS v3 aktiviert ist, damit Sie ein persistentes Volume mithilfe des NFS-Protokolls bereitstellen können. Sie können NFS v3 nicht für ein vorhandenes Speicherkonto aktivieren. Weitere Informationen finden Sie unter Erstellen eines NFS v3-Kontos.

• Führen Sie die folgenden Aufgaben aus, um ein Azure Data Lake Storage Konto bei Verwendung der Blobfuse-Bereitstellung zu unterstützen:

  • Geben Sie isHnsEnabled: "true" zum Erstellen eines Data Lake Storage Kontos mithilfe des Treibers in der dynamischen Bereitstellung in den Parametern der Speicherklasse an.
  • Wenn Sie den Blobfuse-Zugriff auf ein Data Lake Storage Konto in der statischen Bereitstellung aktivieren möchten, geben Sie die Bereitstellungsoption --use-adls=true im persistenten Volume an.
  • Wenn Sie ein Speicherkonto mit hierarchischem Namespace aktivieren möchten, sollten vorhandene persistente Volumes mittels der Einbindungsoption --use-adls=true erneut eingebunden werden.

• Standardmäßig befindet sich der Blobfuse-Cache im /mnt Verzeichnis. Wenn die VM-SKU einen temporären Datenträger bereitstellt, wird das /mnt Verzeichnis auf dem temporären Datenträger bereitgestellt. Wenn die VM-SKU jedoch keinen temporären Datenträger bereitstellt, wird das /mnt Verzeichnis auf dem Betriebssystemdatenträger bereitgestellt, können Sie die Mount-Option --tmp-path= festlegen, um ein anderes Cacheverzeichnis anzugeben.

Verwenden von integrierten Speicherklassen zum Erstellen dynamischer PVs mit Azure Blob Storage

Eine Speicherklasse wird verwendet, um zu definieren, wie ein Azure-Blobspeichercontainer erstellt wird. In der Knotenressourcengruppe wird automatisch ein Speicherkonto erstellt, das mit der Speicherklasse verwendet wird, um den Azure-Blobspeichercontainer aufzunehmen. Wenn Sie CSI-Speichertreiber in AKS verwenden, gibt es zwei zusätzliche integrierte Speicherklassen StorageClasses, die den Azure Blob Storage-CSI-Treiber verwenden.

Die Freigaberichtlinie für beide Speicherklassen stellt sicher, dass beim Löschen eines persistenten Volumes auch der zugrunde liegende Azure-Blobspeicher gelöscht wird. Die Speicherklassen konfigurieren den Container auch so, dass er standardmäßig erweiterbar ist, da der Parameter set allowVolumeExpansion auf true festgelegt ist.

Sie können einen der folgenden Azure Storage-Redundanz-SKUs für den skuname Parameter in der Speicherklassendefinition auswählen:

• Standard_LRS: Lokal redundanter Standardspeicher
• Premium_LRS: Lokal redundanter Premium-Speicher
• Standard_ZRS: Standard – zonenredundanter Speicher
• Premium_ZRS: zonenredundanter Premiumspeicher (ZRS)
• Standard_GRS: Standardmäßiger georedundanter Speicher
• Standard_RAGRS: Standardmäßiger georedundanter Lesezugriffsspeicher

Erstellen benutzerdefinierter Speicherklassen für dynamische PVs mit Azure Blob Storage

Die Standardspeicherklassen eignen sich für die meisten Szenarien. In einigen Fällen sollten Sie ihre eigene Speicherklasse mit Ihren eigenen Parametern anpassen lassen. In diesem Abschnitt stellen wir zwei Beispiele bereit: eine mit DEM NFS-Protokoll und eine mit Blobfuse.

Beispiel für eine benutzerdefinierte Speicherklasse mithilfe des NFS-Protokolls

Das Manifest in diesem Beispiel bindet einen Blob-Speichercontainer mithilfe des NFS-Protokolls ein. Sie können ihn verwenden, um den tags Parameter hinzuzufügen.

1. Erstellen Sie eine Datei namens blob-nfs-sc.yaml und fügen Sie sie in das folgende Beispielmanifest ein:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-nfs
   provisioner: blob.csi.azure.com
   parameters:
     protocol: nfs
     tags: environment=Development
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   

2. Erstellen Sie die Speicherklasse mit dem kubectl apply Befehl:

   kubectl apply -f blob-nfs-sc.yaml
   

   Ihre Ausgabe sollte in etwa wie die folgende Beispielausgabe aussehen:

   storageclass.storage.k8s.io/blob-nfs created
   

Beispiel für eine benutzerdefinierte Speicherklasse mit Blobfuse

Das Manifest in diesem Beispiel verwendet Blobfuse und bindet einen Blob-Speichercontainer ein. Sie können ihn verwenden, um den skuName Parameter zu aktualisieren.

1. Erstellen Sie eine Datei namens blobfuse-sc.yaml und fügen Sie sie in das folgende Beispielmanifest ein:

   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: blob-fuse
   provisioner: blob.csi.azure.com
   parameters:
     skuName: Standard_GRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS
   reclaimPolicy: Delete
   volumeBindingMode: Immediate
   allowVolumeExpansion: true
   mountOptions:
     - -o allow_other
     - --file-cache-timeout-in-seconds=120
     - --use-attr-cache=true
     - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
     - -o attr_timeout=120
     - -o entry_timeout=120
     - -o negative_timeout=120
     - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
     - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.
   

2. Erstellen Sie die Speicherklasse mit dem kubectl apply Befehl:

   kubectl apply -f blobfuse-sc.yaml
   

   Ihre Ausgabe sollte in etwa wie die folgende Beispielausgabe aussehen:

   storageclass.storage.k8s.io/blob-fuse created
   

Speicherklassenparameter für dynamische PVs mit Azure Blob Storage

Verwenden Sie die folgenden Parametergruppen, um eine benutzerdefinierte Speicherklasse für Ihre persistenten Volumeansprüche (PVCs) mit Azure Blob-Speicher zu definieren:

• Speicherkonto: skuName, , location, resourceGroup, storageAccountsubscriptionID, networkEndpointType, accessTier, allowBlobPublicAccesspublicNetworkAccesstagsallowSharedKeyAccessrequireInfraEncryptionund .matchTags
• Container und Endpunkt: protocol, , containerNamePrefixuseDataPlaneAPIservercontainerNamestorageEndpointSuffix, softDeleteBlobs, und . softDeleteContainersenableBlobVersioning
• BlobFuse: storeAccountKey, , getLatestAccountKey, secretName, secretNamespace, und isHnsEnabled.
• NFS: mountPermissions und fsGroupChangePolicy.
• Virtuelles Netzwerk: vnetResourceGroup, vnetName, , subnetNameund vnetLinkName.

Konfigurieren von Speicherkontoparametern für dynamische PVs mit Azure Blob-Speicher

Verwenden Sie die folgenden Parameter, um das Azure Speicherkonto für ein dynamisch bereitgestelltes PV zu konfigurieren:

Konfigurieren von Container- und Endpunktparametern für dynamische PVs mit Azure Blob Storage

Verwenden Sie die folgenden Parameter, um den Container, das Bereitstellungsprotokoll, den Speicherendpunkt und tags für eine dynamisch bereitgestellte PV zu konfigurieren:

Konfigurieren von BlobFuse-Parametern für dynamische PVs mit Azure Blob Storage

Die folgenden Parameter gelten nur, wenn Sie BlobFuse für eine dynamisch bereitgestellte PV verwenden:

Konfigurieren von NFS-Parametern für dynamische PVs mit Azure Blob Storage

Der folgende Parameter gilt nur, wenn Sie NFS für eine dynamisch bereitgestellte PV verwenden:

Konfigurieren von Parametern für virtuelle Netzwerke für dynamische PVs mit Azure Blob-Speicher

Verwenden Sie die folgenden Parameter, wenn der Treiber den Virtuellen Netzwerkzugriff für eine dynamisch bereitgestellte PV konfiguriert:

Konfigurieren privater Endpunkte für dynamische PVs mit Azure Blob-Speicher

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: blob-fuse
provisioner: blob.csi.azure.com
parameters:
  skuName: Premium_LRS  # available values: Standard_LRS, Premium_LRS, Standard_GRS, Standard_RAGRS, Standard_ZRS, Premium_ZRS
  protocol: fuse2
  networkEndpointType: privateEndpoint
reclaimPolicy: Delete
volumeBindingMode: Immediate
allowVolumeExpansion: true
mountOptions:
  - -o allow_other
  - --file-cache-timeout-in-seconds=120
  - --use-attr-cache=true
  - --cancel-list-on-mount-seconds=10  # prevent billing charges on mounting
  - -o attr_timeout=120
  - -o entry_timeout=120
  - -o negative_timeout=120
  - --log-level=LOG_WARNING  # LOG_WARNING, LOG_INFO, LOG_DEBUG
  - --cache-size-mb=1000  # Default will be 80% of available memory, eviction will happen beyond that.

Erstellen eines PVC für dynamische Bereitstellung

Ein PVC verwendet das Speicherklassenobjekt, um einen Azure Blob Storage dynamisch bereitzustellen. Sie können das Beispiel-YAML-Manifest in diesem Abschnitt verwenden, um ein PVC zu erstellen, das mit ReadWriteMany-Zugriff5 GB groß ist. Weitere Informationen zu Zugriffsmodi finden Sie unter Kubernetes PV-Zugriffsmodi.

1. Erstellen Sie eine Datei mit dem Namen blob-nfs-pvc.yaml und fügen Sie das folgende YAML-Manifest darin ein:

   apiVersion: v1
   kind: PersistentVolumeClaim
   metadata:
     name: azure-blob-storage
   spec:
     accessModes:
     - ReadWriteMany
     storageClassName: azureblob-nfs-premium
     resources:
       requests:
         storage: 5Gi
   

2. Erstellen Sie das PVC mit dem kubectl create Befehl:

   kubectl create -f blob-nfs-pvc.yaml
   

3. Sehen Sie sich den Status des PVC mit dem kubectl get Befehl an:

   kubectl get pvc azure-blob-storage
   

   Ihre Ausgabe sollte der folgenden Beispielausgabe ähneln, die zeigt, dass sich das PVC in einem Bound Zustand befindet:

   NAME                 STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                AGE
   azure-blob-storage   Bound    pvc-aaaaaaaa-0000-1111-2222-bbbbbbbbbbbb   5Gi        RWX            azureblob-nfs-premium       92m
   

Bereitstellen eines dynamisch bereitgestellten BLOB-Speichervolumes in einem Pod

Mit der folgenden YAML wird ein Pod erstellt, der den Anspruch azure-blob-storage verwendet, um den Azure Blob Storage unter dem Pfad /mnt/blob zu mounten.

1. Erstellen Sie eine Datei namens blob-nfs-pv, und fügen Sie das folgende YAML-Manifest ein. Stellen Sie sicher, dass die claimName Übereinstimmung mit dem PVC übereinstimmt, das Sie zuvor erstellt haben (azure-blob-storage).

   kind: Pod
   apiVersion: v1
   metadata:
     name: mypod
   spec:
     containers:
     - name: mypod
       image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
       resources:
         requests:
           cpu: 100m
           memory: 128Mi
         limits:
           cpu: 250m
           memory: 256Mi
       volumeMounts:
       - mountPath: "/mnt/blob"
         name: volume
         readOnly: false
     volumes:
       - name: volume
         persistentVolumeClaim:
           claimName: azure-blob-storage
   

2. Erstellen Sie den Pod mithilfe des kubectl apply Befehls:

   kubectl apply -f blob-nfs-pv.yaml
   

3. Nachdem der Pod erfolgreich ausgeführt wurde, erstellen Sie eine neue Datei test.txt mit dem folgenden Befehl:

   kubectl exec mypod -- touch /mnt/blob/test.txt
   

4. Überprüfen Sie, ob der Datenträger ordnungsgemäß bereitgestellt wird, indem Sie den folgenden Befehl verwenden, um die Dateien im bereitgestellten Verzeichnis auflisten zu können:

   kubectl exec mypod -- ls /mnt/blob
   

   Ihre Ausgabe sollte der folgenden Beispielausgabe ähneln, die die test.txt Datei zeigt, die Sie im eingebundenen Azure Blob Storage erstellt haben.

   test.txt
   

Verwenden eines StatefulSet zum Verwalten des Lebenszyklus eines Volumes mit Azure Blob Storage

Sie können ein StatefulSet verwenden, um ein Speichervolumen für Ihre Workload beizubehalten. Dieser Status erleichtert die Zuordnung vorhandener Volumes zu neuen Pods, die ausgefallene Volumes ersetzen. Die folgenden Beispiele veranschaulichen, wie Ein StatefulSet für Blob-Speicher mit dem NFS-Protokoll oder Blobfuse eingerichtet wird.

Erstellen einer statischen PV mit Azure Blob Storage

Die folgenden Abschnitte enthalten Anweisungen zum Erstellen einer statischen PV mit Azure Blob Storage. Ein statisches PV ist ein persistentes Volume, das ein Administrator manuell erstellt. Diese PV ist für die Verwendung durch Pods im Cluster verfügbar. Um eine statische PV zu verwenden, erstellen Sie ein PVC, das auf die PV verweist, und dann erstellen Sie einen Pod, der auf das PVC verweist.

CSI-Volumeparameter für statische PVs mit Azure Blob-Speicher

In der folgenden Tabelle sind Parameter aufgeführt, die Sie in der CSI-Volumequelle für eine statische PV mit Azure Blob-Speicher verwenden können:

Erstellen eines Blobspeichercontainers

Wenn Sie eine Azure Blob Storage-Ressource für die Verwendung mit AKS erstellen, können Sie die Ressource in der Knotenressourcengruppe erstellen. Mit diesem Ansatz kann der AKS-Cluster auf die BLOB-Speicherressource zugreifen und diese verwalten.

1. Rufen Sie den Namen der Knotenressourcengruppe Ihres AKS-Clusters mithilfe des az aks show Befehls mit dem --query nodeResourceGroup Parameter ab.

   az aks show --resource-group myResourceGroup --name myAKSCluster --query nodeResourceGroup -o tsv
   

   Die Ausgabe des Befehls sieht in etwa wie im folgenden Beispiel aus:

   MC_myResourceGroup_myAKSCluster_eastus
   

2. Wenn Sie das Speicherkonto in der Knotenressourcengruppe erstellen, verwenden Sie den im vorherigen Schritt zurückgegebenen Knotenressourcengruppennamen (z. B MC_myResourceGroup_myAKSCluster_eastus. ). Führen Sie dann die Schritte unter "Blob-Speicher verwalten " aus, um den Zugriff zu autorisieren und einen Container in diesem Speicherkonto zu erstellen.

Volume einbinden

In diesem Abschnitt binden Sie ein persistentes Volume mithilfe des NFS-Protokolls oder Blobfuse ein.

Verwenden Sie das persistente Volume

Mit dem folgenden YAML wird ein Pod erstellt, der das zuvor erstellte PV oder PVC mit dem Namen pvc-blob verwendet, um den Azure Blob-Speicher im Pfad /mnt/blob einzubinden.

1. Erstellen Sie eine Datei mit dem Namen nginx-pod-blob.yaml , und fügen Sie sie im folgenden YAML-Manifest ein. Stellen Sie sicher, dass die claimName Übereinstimmung mit dem zuvor erstellten PVC (pvc-blob) übereinstimmt.

   kind: Pod
   apiVersion: v1
   metadata:
     name: nginx-blob
   spec:
     nodeSelector:
       "kubernetes.io/os": linux
     containers:
       - image: mcr.microsoft.com/oss/nginx/nginx:1.17.3-alpine
         name: nginx-blob
         volumeMounts:
           - name: blob01
             mountPath: "/mnt/blob"
             readOnly: false
     volumes:
       - name: blob01
         persistentVolumeClaim:
           claimName: pvc-blob
   

2. Erstellen Sie den Pod, und fügen Sie das PVC mit dem kubectl create Befehl an:

   kubectl create -f nginx-pod-blob.yaml
   

3. Erstellen Sie eine interaktive Shellsitzung mit dem Pod, um zu überprüfen, ob der Blob-Speicher ordnungsgemäß bereitgestellt wird, indem Sie den folgenden kubectl exec Befehl verwenden:

   kubectl exec -it nginx-blob -- df -h
   

   Die Ausgabe sollte der folgenden Beispielausgabe ähneln, die zeigt, dass der Blob-Speicher am /mnt/blob Pfad bereitgestellt wird:

   Filesystem      Size  Used Avail Use% Mounted on
   ...
   blobfuse         14G   41M   13G   1% /mnt/blob
   ...
   

Verwandte Inhalte

• Verwenden von Azure-Tags in Azure Kubernetes Service (AKS)
• Bekannte Probleme bei der Unterstützung des Network File System 3.0-Protokolls (NFS) für Azure Blob Storage