Een volledig beheerde GPU-knooppuntgroep maken op Azure Kubernetes Service (AKS)

Als u de standaard Ubuntu-besturingssysteem-SKU (OS) wilt gebruiken, maakt u de knooppuntgroep zonder een SKU van het besturingssysteem op te geven. De nodepool is geconfigureerd voor het standaardbesturingssysteem op basis van de Kubernetes-versie van de cluster.

1. Voeg een knooppuntgroep toe aan uw cluster met behulp van de az aks nodepool add opdracht met de --enable-managed-gpu=true vlag.

   az aks nodepool add \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp \
       --node-count 1 \
       --node-vm-size Standard_NC4as_T4_v3 \
       --node-taints sku=gpu:NoSchedule \
       --enable-managed-gpu=true
   

2. Controleer of de beheerde NVIDIA GPU-softwareonderdelen zijn geïnstalleerd:

   az aks nodepool show \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp
   

   De uitvoer moet de volgende waarden bevatten:

   ...
   "gpuProfile": {
       "driver": "Install",
       "driverType": "",
       "nvidia": {
           "managementMode": "Managed",
           "migStrategy": null
       }
   },
   ...
   

Om Azure Linux te gebruiken, specificeert u de OS SKU door --os-sku in te stellen op AzureLinux tijdens de creatie van de knooppool. De os-type is standaard ingesteld op Linux.

1. Voeg een knooppuntgroep toe aan uw cluster met behulp van de az aks nodepool add opdracht, waarbij de --os-sku vlag is ingesteld op AzureLinux en --enable-managed-gpu=true.

   az aks nodepool add \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp \
       --node-count 1 \
       --os-sku AzureLinux \
       --node-vm-size Standard_NC4as_T4_v3 \
       --node-taints sku=gpu:NoSchedule \
       --enable-managed-gpu=true
   

2. Controleer of de beheerde NVIDIA GPU-softwareonderdelen zijn geïnstalleerd:

   az aks nodepool show \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp
   

   De uitvoer moet de volgende waarden bevatten:

   ...
   "gpuProfile": {
       "driver": "Install",
       "driverType": "",
       "nvidia": {
           "managementMode": "Managed",
           "migStrategy": null
       }
   },
   ...
   

Als u beheerde GPU-knooppunten wilt gebruiken met automatisch inrichten van knooppunten (NAP), configureert u spec.gpu op een AKSNodeClass resource en maakt u vervolgens een NodePool die ernaar verwijst en Linux NVIDIA GPU-geschikte VM-grootten selecteert. Deze configuratie is van toepassing op automatische AKS-clusters, waarbij NAP standaard is ingeschakeld en op AKS Standard-clusters waarvoor NAP is ingeschakeld.

Stel spec.gpu.mode in op Driver en spec.gpu.nvidia.managementMode op Managed om AKS het GPU-stuurprogramma, de apparaatinvoegtoepassing en de metrische DCGM-exporteur te laten installeren en onderhouden. De standaard NVIDIA-beheermodus is Unmanaged. Stel mode niet in op None voor beheerde GPU-knooppunten, omdat de installatie van stuurprogramma's wordt overgeslagen.

Zie GPU-instellingen in AKSNodeClass voor meer informatie.

1. Maak een AKSNodeClass CRD en stel mode: Driver en nvidia.managementMode: Managed in in het veld spec.gpu.

   apiVersion: karpenter.azure.com/v1beta1
   kind: AKSNodeClass
   metadata:
     name: managed-gpu-class
   spec:
     gpu:
       mode: Driver
       nvidia:
         managementMode: Managed
   

2. Maak een NodePool CRD waarmee NAP NVIDIA GPU-SKU's kan implementeren.

   apiVersion: karpenter.sh/v1
   kind: NodePool
   metadata:
     name: managed-gpu-np
   spec:
     disruption:
       consolidationPolicy: WhenEmptyOrUnderutilized
       consolidateAfter: 30s
     template:
       spec:
         nodeClassRef:
           group: karpenter.azure.com
           kind: AKSNodeClass
           name: managed-gpu-class
         requirements:
           - key: kubernetes.io/arch
             operator: In
             values: ["amd64"]
           - key: kubernetes.io/os
             operator: In
             values: ["linux"]
           - key: karpenter.azure.com/sku-family
             operator: In
             values: ["N"]
           - key: karpenter.azure.com/sku-gpu-manufacturer
             operator: In
             values: ["nvidia"]
           - key: karpenter.sh/capacity-type
             operator: In
             values: ["spot", "on-demand"]
   

3. Implementeer de AKSNodeClass en NodePool CRDs.

   kubectl apply -f managed-gpu-class.yaml
   kubectl apply -f managed-gpu-np.yaml
   

4. Implementeer een voorbeeldworkload die GPU-resources aanvraagt. NAP maakt een passend GPU-knooppunt beschikbaar wanneer de pod de status Pending heeft.

5. Controleer of de AKSNodeClass- en NodePool-resources zijn geïmplementeerd en of het label voor beheerde GPU is toegepast op het knooppunt dat door NAP is ingericht.

   kubectl get aksnodeclasses.karpenter.azure.com,nodepools.karpenter.sh
   kubectl get nodes -L kubernetes.azure.com/dcgm-exporter
   

Een beheerde MIG-knooppuntgroep (Multi-Instance GPU) maken

Voor GPU-SKU's die ondersteuning bieden voor GPU's met meerdere exemplaren (zoals A100 en H100), configureert u een MIG-strategie bij het maken van een knooppuntgroep met de --gpu-mig-strategy vlag. De strategie bepaalt hoe MIG-partities worden blootgesteld aan Kubernetes:

• Single: Alle MIG-exemplaren worden samengevoegd onder de standaardresource nvidia.com/gpu .
• Mixed: Elk MIG-profiel wordt weergegeven als een afzonderlijke resource, zoals nvidia.com/mig-1g.10gb.
• None (standaard): MIG is niet geconfigureerd.

Het migStrategy veld is onveranderbaar nadat de knooppuntgroep is gemaakt.

Zie Voor achtergrondinformatie over MIG-partitionering, ondersteunde VM-grootten en GPU-exemplaarprofielen een GPU-knooppuntgroep met meerdere exemplaren maken in AKS en NVIDIA Multi-Instance GPU.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Single

Met deze configuratie vragen pods GPU-resources aan met behulp van de standaardresourcenaam nvidia.com/gpu .

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Mixed

Met deze configuratie vragen pods bijvoorbeeld specifieke MIG-partities nvidia.com/mig-1g.10gb: 1aan.

De beheerde GPU-knooppuntgroep controleren

Nadat de knooppuntgroep gereed is, voert u de volgende controles uit om te controleren of de volledige beheerde stack is geïnstalleerd en in orde is.

1. Controleer de GPU-specifieke knooppuntvoorwaarden van Node Problem Detector (NPD):

   GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
   kubectl describe node $GPU_NODE
   

   Op een beheerd GPU-knooppunt moeten de volgende voorwaarden beide rapporteren False:

   Condition	Status	Reden
   UnhealthyNvidiaDevicePlugin	False	HealthyNvidiaDevicePlugin
   UnhealthyNvidiaDCGMServices	False	HealthyNvidiaDCGMServices

2. Controleer of het beheerde GPU-label aanwezig is op het knooppunt:

   kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
   

   Verwachte uitvoer: enabled.

3. Controleer of GPU-resources worden geadverteerd in de resources die beschikbaar zijn voor het knooppunt:

   kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
   

   Voor een niet-MIG-nodepool bevat "nvidia.com/gpu": "1" de uitvoer (of meer, afhankelijk van de SKU). Voor een MIG-node pool bevat de uitvoer MIG-specifieke Mixed resources, zoals "nvidia.com/mig-1g.10gb": "7".

4. Voer een voorbeeldworkload uit om GPU-toegang vanuit een container te bevestigen:

   apiVersion: v1
   kind: Pod
   metadata:
     name: managed-gpu-test
   spec:
     restartPolicy: Never
     tolerations:
       - key: "sku"
         operator: "Equal"
         value: "gpu"
         effect: "NoSchedule"
     containers:
     - name: gpu-test
       image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
       command: ["nvidia-smi"]
       resources:
         limits:
           nvidia.com/gpu: 1
   

   Bekijk de podlogboeken om uitvoer weer te geven nvidia-smi met het GPU-apparaat, de stuurprogrammaversie en de CUDA-versie:

   kubectl logs managed-gpu-test
   

Een beheerde GPU-knooppuntgroep schalen

Een beheerde GPU-knooppuntgroep handmatig schalen met az aks nodepool scale. Nieuwe knooppunten installeren de volledige beheerde GPU-stack.

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 2

Alternatieve installatieprofielen

Als het volledig beheerde stackprofiel niet de juiste optie is, ondersteunt AKS twee alternatieve profielen in GPU-knooppuntgroepen.

Gebruik dit profiel als u wilt dat AKS het NVIDIA GPU-stuurprogramma installeert en onderhoudt, maar u van plan bent zelf de invoegtoepassing voor het apparaat en de exporteur van metrische gegevens te implementeren (bijvoorbeeld met de NVIDIA GPU-operator). Instellen --enable-managed-gpu=false:

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC4as_T4_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false

Met deze configuratie:

• AKS installeert en beheert het NVIDIA GPU-stuurprogramma (gpuProfile.driver is Install).
• AKS installeert geen apparaatplug-in, DCGM-metriekexporteur of gezondheidsregels voor GPU's. gpuProfile.nvidia is null.
• Er wordt geen nvidia.com/gpu resource geadverteerd totdat u een apparaatinvoegtoepassing implementeert.

Gebruik dit profiel als u het NVIDIA-stuurprogramma zelf wilt installeren (bijvoorbeeld om de NVIDIA GPU-operator uit te voeren). Maak de knooppuntgroep met --enable-managed-gpu=false --gpu-driver None:

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC4as_T4_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false \
    --gpu-driver None

In deze configuratie installeert AKS geen GPU-softwareonderdelen: geen stuurprogramma, geen invoegtoepassing voor apparaten en geen exporteur van metrische gegevens. Microsoft biedt geen ondersteuning voor of beheer NVIDIA-stuurprogramma's of andere GPU-onderdelen op deze knooppunten. Voor meer informatie, zie De installatie van GPU-stuurprogramma's overslaan.

Volgende stappen

• Implementeer een GPU-werkbelastingvoorbeeld op uw door AKS beheerde GPU-knooppunten.
• Meer informatie over gpu-gebruik en prestatiegegevens van beheerde NVIDIA DCGM-exporteur in uw GPU-knooppuntgroep.

Verwante artikelen

• Gebruik NVIDIA GPU's op AKS voor de standaard gpu-ervaring (niet-beheerd).
• Maak een nodepool met meerdere instanties gpu (MIG) voor een uitleg over MIG-partitionering en ondersteunde VM-groottes.
• NVIDIA GPU Operator voor het beheren van GPU-stuurprogramma's en de apparaatinvoegtoepassing zelf.
• Bewaak GPU-metrische gegevens van de beheerde NVIDIA DCGM-exporteur.
• GPU-statuscontrole met Node Problem Detector (NPD) op AKS.
• Gebruik Windows GPU's op AKS voor Windows GPU-knooppuntgroepen.
• Azure GPU VM-grootten voor de volledige lijst met VM's met NVIDIA GPU.
• Gedistribueerde deductie uitvoeren op meerdere AKS GPU-knooppunten.