Criar um conjunto de nós de GPU totalmente gerido no Azure Kubernetes Service (AKS)

Para usar o SKU padrão do sistema operacional Ubuntu (OS), você cria o pool de nós sem especificar um SKU do sistema operacional. O conjunto de nós é configurado para utilizar o sistema operacional padrão com base na versão do Kubernetes do cluster.

1. Adicione um pool de nós ao cluster usando o comando az aks nodepool add com a flag --enable-managed-gpu=true.

   az aks nodepool add \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp \
       --node-count 1 \
       --node-vm-size Standard_NC4as_T4_v3 \
       --node-taints sku=gpu:NoSchedule \
       --enable-managed-gpu=true
   

2. Confirme se os componentes de software da GPU NVIDIA gerenciados foram instalados com êxito:

   az aks nodepool show \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp
   

   Sua saída deve incluir os seguintes valores:

   ...
   "gpuProfile": {
       "driver": "Install",
       "driverType": "",
       "nvidia": {
           "managementMode": "Managed",
           "migStrategy": null
       }
   },
   ...
   

Para usar o Azure Linux, especifique a SKU do sistema operacional definindo --os-sku como AzureLinux durante a criação do pool de nós. O os-type é definido como Linux por padrão.

1. Adicione um grupo de nós ao cluster usando o comando az aks nodepool add com a opção --os-sku configurada para AzureLinux e --enable-managed-gpu=true.

   az aks nodepool add \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp \
       --node-count 1 \
       --os-sku AzureLinux \
       --node-vm-size Standard_NC4as_T4_v3 \
       --node-taints sku=gpu:NoSchedule \
       --enable-managed-gpu=true
   

2. Confirme se os componentes de software da GPU NVIDIA gerenciados foram instalados com êxito:

   az aks nodepool show \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp
   

   Sua saída deve incluir os seguintes valores:

   ...
   "gpuProfile": {
       "driver": "Install",
       "driverType": "",
       "nvidia": {
           "managementMode": "Managed",
           "migStrategy": null
       }
   },
   ...
   

Para usar nós de GPU geridos com auto-provisionamento de nós (NAP), configure spec.gpu num recurso AKSNodeClass, depois crie um NodePool que lhe faça referência e selecione tamanhos de VM Linux NVIDIA com GPU. Esta configuração aplica-se a clusters automáticos do AKS, onde o NAP está ativado por defeito, e aos clusters AKS Standard com NAP ativado.

Defina spec.gpu.mode para Driver e spec.gpu.nvidia.managementMode para Managed para que o AKS instale e mantenha o driver da GPU, o plugin do dispositivo e o exportador de métricas DCGM. O modo de gestão padrão da NVIDIA é Unmanaged. Não definas mode para None nos nós GPU geridos, porque isso ignora a instalação dos drivers.

Para mais informações, consulte as definições da GPU no AKSNodeClass.

1. Crie um AKSNodeClass CRD e defina mode: Driver e nvidia.managementMode: Managed no campo spec.gpu.

   apiVersion: karpenter.azure.com/v1beta1
   kind: AKSNodeClass
   metadata:
     name: managed-gpu-class
   spec:
     gpu:
       mode: Driver
       nvidia:
         managementMode: Managed
   

2. Crie um NodePool CRD que permita ao NAP implementar SKUs da GPU NVIDIA.

   apiVersion: karpenter.sh/v1
   kind: NodePool
   metadata:
     name: managed-gpu-np
   spec:
     disruption:
       consolidationPolicy: WhenEmptyOrUnderutilized
       consolidateAfter: 30s
     template:
       spec:
         nodeClassRef:
           group: karpenter.azure.com
           kind: AKSNodeClass
           name: managed-gpu-class
         requirements:
           - key: kubernetes.io/arch
             operator: In
             values: ["amd64"]
           - key: kubernetes.io/os
             operator: In
             values: ["linux"]
           - key: karpenter.azure.com/sku-family
             operator: In
             values: ["N"]
           - key: karpenter.azure.com/sku-gpu-manufacturer
             operator: In
             values: ["nvidia"]
           - key: karpenter.sh/capacity-type
             operator: In
             values: ["spot", "on-demand"]
   

3. Implemente os AKSNodeClass e NodePool CRDs.

   kubectl apply -f managed-gpu-class.yaml
   kubectl apply -f managed-gpu-np.yaml
   

4. Implementa uma carga de trabalho de exemplo que solicita recursos da GPU. O NAP aprovisiona um nó de GPU compatível quando o pod está pendente.

5. Confirme que os recursos AKSNodeClass e NodePool foram implementados e que o rótulo de GPU gerida foi aplicado ao nó aprovisionado pelo NAP.

   kubectl get aksnodeclasses.karpenter.azure.com,nodepools.karpenter.sh
   kubectl get nodes -L kubernetes.azure.com/dcgm-exporter
   

Criar um pool de nós gerido para GPU Multi-Instância (MIG)

Para SKUs de GPU que suportam GPU Multi-Instance (como A100 e H100), defina uma estratégia MIG ao criar o pool de nós com a flag --gpu-mig-strategy. A estratégia controla como as partições MIG são expostas ao Kubernetes:

• Single: Todas as instâncias MIG são agregadas no recurso padrão nvidia.com/gpu.
• Mixed: Cada perfil MIG é exposto como um recurso separado, como nvidia.com/mig-1g.10gb.
• None (padrão): MIG não está configurado.

Após a criação do pool de nós, o migStrategy campo torna-se imutável.

Para informações sobre particionamento MIG, tamanhos de VM suportados e perfis de instância de GPU, consulte Criar um pool de nós de GPU multi-instância em AKS e NVIDIA Multi-Instance GPU.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Single

Com esta configuração, os pods solicitam recursos da GPU usando o nome padrão nvidia.com/gpu do recurso.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Mixed

Com esta configuração, os pods solicitam partições MIG específicas, por exemplo nvidia.com/mig-1g.10gb: 1.

Verifica o pool de nós da GPU gerida

Depois de o pool de nós estar pronto, execute as seguintes verificações para confirmar que a plataforma totalmente gerida está instalada e em bom estado.

1. Verifique as condições específicas dos nós da GPU no Node Problem Detector (NPD):

   GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
   kubectl describe node $GPU_NODE
   

   Em um nó GPU gerido, ambas as seguintes condições devem reportar False:

   Condition	Situação	Justificação
   UnhealthyNvidiaDevicePlugin	False	HealthyNvidiaDevicePlugin
   UnhealthyNvidiaDCGMServices	False	HealthyNvidiaDCGMServices

2. Verifique se o rótulo da GPU gerida está presente no nó:

   kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
   

   Resultados esperados: enabled.

3. Verifique se os recursos da GPU estão anunciados nos recursos alocáveis do nó:

   kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
   

   Para um pool de nós não MIG, a saída inclui "nvidia.com/gpu": "1" (ou mais, dependendo do SKU). Para um pool de nós MIG Mixed, a saída inclui recursos específicos do MIG, como "nvidia.com/mig-1g.10gb": "7".

4. Executa uma carga de trabalho de exemplo para confirmar o acesso à GPU a partir de um contentor:

   apiVersion: v1
   kind: Pod
   metadata:
     name: managed-gpu-test
   spec:
     restartPolicy: Never
     tolerations:
       - key: "sku"
         operator: "Equal"
         value: "gpu"
         effect: "NoSchedule"
     containers:
     - name: gpu-test
       image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
       command: ["nvidia-smi"]
       resources:
         limits:
           nvidia.com/gpu: 1
   

   Consulte os podlogs para ver nvidia-smi a saída que mostra o dispositivo GPU, a versão do driver e a versão CUDA:

   kubectl logs managed-gpu-test
   

Escalar um pool de nós de GPU gerido

Escale manualmente um pool de nós de GPU gerido com az aks nodepool scale. Os novos nós instalam toda a stack de GPU gerida.

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 2

Perfis de instalação alternativos

Se o perfil de stack gerido completo não for adequado, o AKS suporta dois perfis alternativos em pools de nós da GPU.

Use este perfil quando quiser que o AKS instale e mantenha o driver da GPU NVIDIA, mas planeia implementar o plugin do dispositivo e o exportador de métricas você próprio (por exemplo, com o NVIDIA GPU Operator). Conjunto --enable-managed-gpu=false:

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC4as_T4_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false

Com esta configuração:

• O AKS instala e gere o driver da GPU NVIDIA (gpuProfile.driver is Install).
• A AKS não instala um plugin de dispositivo, exportador de métricas DCGM ou regras de saúde da GPU. gpuProfile.nvidia é null.
• Nenhum nvidia.com/gpu recurso é anunciado até implementares um plugin de dispositivo.

Use este perfil quando quiser instalar o driver NVIDIA você mesmo (por exemplo, para executar o NVIDIA GPU Operator). Crie o pool de nós com --enable-managed-gpu=false --gpu-driver None:

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC4as_T4_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false \
    --gpu-driver None

Nesta configuração, o AKS não instala componentes de software da GPU: sem driver, sem plugin de dispositivo e sem exportador de métricas. Microsoft não suporta nem gere drivers NVIDIA ou quaisquer outros componentes de GPU em nós de computação. Para obter mais informações, consulte Ignorar instalação de driver da GPU.

Próximos passos

• Implante uma carga de trabalho de GPU de exemplo nos seus nós habilitados para GPU geridos pelo AKS.
• Saiba mais sobre a utilização da GPU e as métricas de desempenho do exportador gerenciado NVIDIA DCGM em seu pool de nós de GPU.

Artigos relacionados

• Use GPUs NVIDIA no AKS para a experiência padrão (não gerida) da GPU.
• Criar um pool de nós de GPU multi-instância (MIG) para informações de fundo sobre o particionamento MIG e tamanhos de VM suportados.
• Operador de GPU NVIDIA para gerir os drivers da GPU e o plugin do dispositivo por si próprio.
• Monitorizar as métricas da GPU do exportador gestor NVIDIA DCGM.
• Monitorização do estado da GPU com o Detector de Problemas do Nó (NPD) no AKS.
• Use GPUs do Windows no AKS para grupos de nós de GPU do Windows.
• Tamanhos de VMs GPU do Azure para a lista completa de VMs com GPU NVIDIA.
• Execute inferência distribuída em múltiplos nós de GPU AKS.