Tworzenie w pełni zarządzanej puli węzłów procesora GPU na Azure Kubernetes Service (AKS)

Aby użyć domyślnej jednostki SKU systemu operacyjnego Ubuntu, należy utworzyć pulę węzłów bez określania jednostki SKU systemu operacyjnego. Pula węzłów jest skonfigurowana dla domyślnego systemu operacyjnego na podstawie wersji rozwiązania Kubernetes klastra.

1. Dodaj pulę węzłów do klastra przy użyciu az aks nodepool add polecenia z flagą --enable-managed-gpu=true .

   az aks nodepool add \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp \
       --node-count 1 \
       --node-vm-size Standard_NC4as_T4_v3 \
       --node-taints sku=gpu:NoSchedule \
       --enable-managed-gpu=true
   

2. Upewnij się, że zarządzane składniki oprogramowania procesora GPU firmy NVIDIA zostały pomyślnie zainstalowane:

   az aks nodepool show \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp
   

   Dane wyjściowe powinny zawierać następujące wartości:

   ...
   "gpuProfile": {
       "driver": "Install",
       "driverType": "",
       "nvidia": {
           "managementMode": "Managed",
           "migStrategy": null
       }
   },
   ...
   

Aby użyć platformy Azure z systemem Linux, należy określić jednostkę SKU systemu operacyjnego, ustawiając wartość --os-sku na AzureLinux podczas tworzenia puli węzłów. Parametr os-type jest domyślnie ustawiony na Linux wartość .

1. Dodaj pulę węzłów do klastra przy użyciu polecenia az aks nodepool add z flagą ustawioną na --os-sku, AzureLinux i --enable-managed-gpu=true.

   az aks nodepool add \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp \
       --node-count 1 \
       --os-sku AzureLinux \
       --node-vm-size Standard_NC4as_T4_v3 \
       --node-taints sku=gpu:NoSchedule \
       --enable-managed-gpu=true
   

2. Upewnij się, że zarządzane składniki oprogramowania procesora GPU firmy NVIDIA zostały pomyślnie zainstalowane:

   az aks nodepool show \
       --resource-group myResourceGroup \
       --cluster-name myAKSCluster \
       --name gpunp
   

   Dane wyjściowe powinny zawierać następujące wartości:

   ...
   "gpuProfile": {
       "driver": "Install",
       "driverType": "",
       "nvidia": {
           "managementMode": "Managed",
           "migStrategy": null
       }
   },
   ...
   

Aby użyć zarządzanych węzłów GPU z automatycznym aprowizowaniem węzłów (NAP), skonfiguruj spec.gpu w zasobie AKSNodeClass, a następnie utwórz obiekt NodePool, który się do niego odwołuje i wybiera rozmiary maszyn wirtualnych z systemem Linux z obsługą GPU. Ta konfiguracja dotyczy klastrów AKS Automatic, w których funkcja NAP jest domyślnie włączona, oraz klastrów AKS Standard z włączoną funkcją NAP.

Ustaw spec.gpu.mode na Driver oraz spec.gpu.nvidia.managementMode na Managed, aby AKS instalował i utrzymywał sterownik GPU, wtyczkę urządzenia i eksporter metryk DCGM. Domyślnym trybem zarządzania NVIDIA jest Unmanaged. Nie należy ustawiać None na mode dla zarządzanych węzłów GPU, ponieważ pomija to instalację sterownika.

Aby uzyskać więcej informacji, zobacz Ustawienia procesora GPU w AKSNodeClass.

1. Utwórz AKSNodeClass CRD i ustaw mode: Driver i nvidia.managementMode: Managed w polu spec.gpu.

   apiVersion: karpenter.azure.com/v1beta1
   kind: AKSNodeClass
   metadata:
     name: managed-gpu-class
   spec:
     gpu:
       mode: Driver
       nvidia:
         managementMode: Managed
   

2. Utwórz element CRD NodePool, który umożliwia NAP wdrożenie jednostek SKU procesorów graficznych NVIDIA.

   apiVersion: karpenter.sh/v1
   kind: NodePool
   metadata:
     name: managed-gpu-np
   spec:
     disruption:
       consolidationPolicy: WhenEmptyOrUnderutilized
       consolidateAfter: 30s
     template:
       spec:
         nodeClassRef:
           group: karpenter.azure.com
           kind: AKSNodeClass
           name: managed-gpu-class
         requirements:
           - key: kubernetes.io/arch
             operator: In
             values: ["amd64"]
           - key: kubernetes.io/os
             operator: In
             values: ["linux"]
           - key: karpenter.azure.com/sku-family
             operator: In
             values: ["N"]
           - key: karpenter.azure.com/sku-gpu-manufacturer
             operator: In
             values: ["nvidia"]
           - key: karpenter.sh/capacity-type
             operator: In
             values: ["spot", "on-demand"]
   

3. Wdróż zasoby CRD AKSNodeClass i NodePool.

   kubectl apply -f managed-gpu-class.yaml
   kubectl apply -f managed-gpu-np.yaml
   

4. Wdróż przykładowe obciążenie, które żąda zasobów procesora GPU. NAP udostępnia odpowiedni węzeł GPU, gdy pod jest w stanie Pending.

5. Upewnij się, że zasoby AKSNodeClass i NodePool są wdrożone oraz że etykieta managed GPU jest przypisana do węzła utworzonego przez NAP.

   kubectl get aksnodeclasses.karpenter.azure.com,nodepools.karpenter.sh
   kubectl get nodes -L kubernetes.azure.com/dcgm-exporter
   

Utwórz zarządzaną pulę węzłów GPU z wieloma wystąpieniami (MIG)

W przypadku jednostek SKU GPU, które obsługują Multi-Instance GPU (MIG), takich jak A100 i H100, skonfiguruj strategię MIG przy tworzeniu puli węzłów za pomocą flagi --gpu-mig-strategy. Strategia steruje sposobem uwidaczniania partycji MIG na platformie Kubernetes:

• Single: Wszystkie wystąpienia grupy zarządzanych instancji (MIG) są agregowane w ramach standardowego zasobu nvidia.com/gpu.
• Mixed: Każdy profil MIG jest udostępniany jako oddzielny zasób, taki jak nvidia.com/mig-1g.10gb.
• None (ustawienie domyślne): MIG nie jest skonfigurowane.

Pole migStrategy jest niezmienne po utworzeniu puli węzłów.

Aby uzyskać informacje na temat partycjonowania MIG, obsługiwanych rozmiarów maszyn wirtualnych i profilów instancji GPU, zobacz Utwórz pulę węzłów GPU z wieloma instancjami w AKS i NVIDIA Multi-Instance GPU.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Single

W przypadku tej konfiguracji zasobniki żądają zasobów GPU za pomocą standardowej nazwy zasobu nvidia.com/gpu.

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name mignp \
    --node-count 1 \
    --node-vm-size Standard_NC24ads_A100_v4 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=true \
    --gpu-instance-profile MIG1g \
    --gpu-mig-strategy Mixed

W przypadku tej konfiguracji zasobniki żądają określonych partycji MIG, na przykład nvidia.com/mig-1g.10gb: 1.

Zweryfikuj zarządzaną pulę węzłów GPU

Po przygotowaniu puli węzłów uruchom następujące sprawdzenia, aby potwierdzić, że cały zarządzany stos jest zainstalowany i w dobrej kondycji.

1. Sprawdź stan węzła specyficzne dla GPU z narzędzia Node Problem Detector (NPD):

   GPU_NODE=$(kubectl get nodes -l agentpool=gpunp -o jsonpath='{.items[0].metadata.name}')
   kubectl describe node $GPU_NODE
   

   Na zarządzanym węźle GPU następujące warunki powinny zgłaszać False obie:

   Warunek	Status	Powód
   UnhealthyNvidiaDevicePlugin	False	HealthyNvidiaDevicePlugin
   UnhealthyNvidiaDCGMServices	False	HealthyNvidiaDCGMServices

2. Sprawdź, czy etykieta zarządzanego procesora GPU znajduje się w węźle:

   kubectl get node $GPU_NODE -o jsonpath='{.metadata.labels.kubernetes\.azure\.com/dcgm-exporter}'
   

   Oczekiwane dane wyjściowe: enabled.

3. Sprawdź, czy zasoby GPU są ujęte w zasobach przydzielanych w węźle.

   kubectl get node $GPU_NODE -o jsonpath='{.status.allocatable}'
   

   W przypadku puli węzłów niebędących częścią MIG dane wyjściowe zawierają "nvidia.com/gpu": "1" (lub więcej, w zależności od SKU). W przypadku puli węzłów MIG Mixed dane wyjściowe obejmują zasoby specyficzne dla zarządzanej grupy instans, takie jak "nvidia.com/mig-1g.10gb": "7".

4. Uruchom przykładowe obciążenie, aby potwierdzić dostęp do procesora GPU z poziomu kontenera:

   apiVersion: v1
   kind: Pod
   metadata:
     name: managed-gpu-test
   spec:
     restartPolicy: Never
     tolerations:
       - key: "sku"
         operator: "Equal"
         value: "gpu"
         effect: "NoSchedule"
     containers:
     - name: gpu-test
       image: mcr.microsoft.com/azuredocs/samples-tf-mnist-demo:gpu
       command: ["nvidia-smi"]
       resources:
         limits:
           nvidia.com/gpu: 1
   

   Aby zobaczyć dane wyjściowe pokazujące urządzenie GPU, wersję sterownika i wersję CUDA, przejrzyj dzienniki podu nvidia-smi.

   kubectl logs managed-gpu-test
   

Skaluj zarządzaną pulę węzłów GPU

Ręczne skalowanie zarządzanej puli węzłów procesora GPU za pomocą polecenia az aks nodepool scale. Nowe węzły instalują pełny zarządzany stos GPU.

az aks nodepool scale \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 2

Alternatywne profile instalacji

Jeśli profil w pełni zarządzanego stosu nie jest odpowiedni, usługa AKS obsługuje dwa alternatywne profile w pulach węzłów GPU.

Użyj tego profilu, jeśli chcesz, aby usługa AKS zainstalowała i obsługiwała sterownik procesora GPU FIRMY NVIDIA, ale planujesz samodzielnie wdrożyć wtyczkę urządzenia i eksporter metryk (na przykład z operatorem procesora GPU firmy NVIDIA). Ustaw :--enable-managed-gpu=false

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC4as_T4_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false

W tej konfiguracji:

• Usługa AKS instaluje sterownik procesora GPU FIRMY NVIDIA i zarządza nim (gpuProfile.driver to Install).
• Usługa AKS nie instaluje wtyczki urządzenia, eksportera metryk DCGM ani reguł kondycji procesora GPU. Parametr gpuProfile.nvidia ma wartość null.
• Żaden zasób nie nvidia.com/gpu jest anonsowany do momentu wdrożenia wtyczki urządzenia.

Użyj tego profilu, jeśli chcesz zainstalować sterownik NVIDIA samodzielnie (na przykład w celu uruchomienia operatora procesora GPU FIRMY NVIDIA). Utwórz pulę węzłów za pomocą polecenia --enable-managed-gpu=false --gpu-driver None:

az aks nodepool add \
    --resource-group myResourceGroup \
    --cluster-name myAKSCluster \
    --name gpunp \
    --node-count 1 \
    --node-vm-size Standard_NC4as_T4_v3 \
    --node-taints sku=gpu:NoSchedule \
    --enable-managed-gpu=false \
    --gpu-driver None

W tej konfiguracji usługa AKS nie instaluje żadnych składników oprogramowania GPU: ani sterownika, ani wtyczki urządzenia, ani eksportera metryk. Microsoft doesnie nie obsługuje ani nie zarządza sterowników NVIDIA ani innych składników procesora GPU w tych węzłach. Aby uzyskać więcej informacji, zobacz Pomiń instalację sterownika GPU.

Dalsze kroki

• Wdróż przykładowe obciążenie procesora GPU na węzłach z obsługą procesora GPU zarządzanych przez usługę AKS.
• Dowiedz się więcej o wykorzystaniu GPU i metrykach wydajności z zarządzanego eksportera NVIDIA DCGM w puli węzłów GPU.

Powiązane artykuły

• Użyj procesorów GPU firmy NVIDIA w usłudze AKS dla standardowego (niezarządzanego) doświadczenia GPU.
• Utwórz pulę węzłów z wieloma wystąpieniami procesora GPU (MIG) dla zrozumienia partycjonowania MIG i obsługiwanych rozmiarów maszyn wirtualnych.
• Operator procesora GPU firmy NVIDIA do zarządzania sterownikami procesora GPU i wtyczką urządzenia samodzielnie.
• Monitorowanie metryk procesora GPU z zarządzanego eksportera NVIDIA DCGM.
• Monitorowanie kondycji procesora GPU za pomocą narzędzia Node Problem Detector (NPD) w usłudze AKS.
• Używaj procesorów GPU Windows na AKS dla pul węzłów GPU Windows.
• Rozmiary maszyn wirtualnych GPU Azure dla pełnej listy maszyn wirtualnych z obsługą GPU NVIDIA.
• Uruchom wnioskowanie rozproszone na wielu węzłach GPU AKS.