在 Azure Kubernetes Service (AKS) 上建立一個完全管理的 GPU node pool

在 Azure Kubernetes Service (AKS) 上執行 NVIDIA GPU 工作負載,傳統上需要你在每個 GPU 節點安裝並維護 NVIDIA GPU 驅動程式、Kubernetes裝置插件,以及 GPU 指標匯出器。 這些元件可支援 GPU 排程、容器層級 GPU 存取及遙測,但手動安裝或透過 NVIDIA GPU 操作員 會增加營運負擔。

透過使用完全管理的 GPU 節點,AKS 會為你安裝並維護 NVIDIA GPU 驅動程式、裝置外掛及資料中心 GPU 管理器 (DCGM)指標匯出器 。 GPU 節點池建立變成單一步驟,GPU 容量的行為就像其他 AKS 節點池一樣。 你可以使用管理型 GPU 節點搭配手動建立的 GPU 節點池,以及節點自動配置(NAP),包括 AKS 自動叢集。

你透過以下兩個欄位 gpuProfile.nvidia配置一個受管理的 GPU 節點池:

  • managementMode (Managed 或 Unmanaged)控制 AKS 是否安裝完整的受管 GPU 堆疊(驅動程式、裝置外掛及 DCGM 指標匯出器)或僅安裝驅動程式。 預設值為 Unmanaged。
  • migStrategy (None、 Single、 或 Mixed) 為支援的 GPU SKU(如 A100 和 H100)設定多實例 GPU(MIG)策略。 預設值為 None。

在本文中,你會配置一個受管理的 GPU 節點池,選擇性地啟用 MIG,驗證堆疊,並執行範例 GPU 工作負載。

開始之前

  • 本文假設您目前擁有 AKS 叢集。 若您沒有叢集,請使用 Azure CLI、Azure PowerShell 或 Azure 入口網站來建立一個。
  • 你需要安裝 Azure CLI 2.85.0 或更新版本。 若要尋找版本,請執行 az --version。 如果您需要安裝或升級,請參閱 安裝 Azure CLI。
  • 在執行本文中的範例之前,先使用az aks get-credentials取得你的 AKS 叢集憑證kubectl。

管理型 GPU 元件

一個受管理的 GPU 節點池可以在每個節點包含以下組件:

組件 其功能是什麼 AKS 所能管理的項目
NVIDIA GPU 驅動程式 核心模組與使用者空間函式庫,讓作業系統和容器能與 GPU 硬體溝通。 驅動程式版本選擇、節點配置時安裝,以及節點映像升級後的重新安裝。
NVIDIA Kubernetes 裝置外掛 一種類似 DaemonSet 的機制,用於向 kubelet 宣告 GPU 資源 (nvidia.com/gpu、nvidia.com/mig-*),以便 Pod 可以要求這些資源。 部署、配置(包括 MIG 策略)以及每個 GPU 節點的生命週期。
NVIDIA DCGM 與 DCGM 指標匯出器 Data Center GPU Manager 收集 GPU 健康與使用率資料,並在埠 19400上揭露 Prometheus 指標(例如 DCGM_FI_DEV_GPU_UTIL、 DCGM_FI_DEV_GPU_TEMP)。 安裝、服務啟用,以及用來抓取指標的kubernetes.azure.com/dcgm-exporter=enabled節點標籤。
GPU 健康訊號 NPD 訊號會呈現 GPU 專屬的節點條件,如 UnhealthyNvidiaDevicePlugin 和 UnhealthyNvidiaDCGMServices。 NPD 監控與 GPU 節點狀況報告。

安裝設定檔

有兩個 gpuProfile 欄位決定 AKS 安裝哪些元件:

  • gpuProfile.driver (Install 或 None):AKS 是否安裝了 NVIDIA GPU 驅動程式。
  • gpuProfile.nvidia.managementMode (Managed 或 Unmanaged):AKS 是否也在驅動程式頂端安裝面向 Kubernetes 的 GPU 堆疊。

它們共同產生三種安裝設定檔:

安裝設定檔 CLI 標誌 AKS 安裝和管理的內容
完整受控堆疊 --enable-managed-gpu=true (或兩個旗標都不使用) 上述四個元件:驅動程式、裝置外掛、DCGM 指標匯出器,以及 NPD 中的 GPU 健康監控。
僅安裝驅動程式 (預設) --enable-managed-gpu=false 只用 NVIDIA GPU 驅動程式。 你自己安裝和管理裝置外掛、指標匯出器和健康監控(例如用 NVIDIA GPU Operator)。
無(BYO) --enable-managed-gpu=false --gpu-driver None 什麼都沒有。 AKS 不安裝這四個零件中的任何一個。 您擁有完整堆疊。 請參考 「自備 GPU 驅動程式」。

預設值和覆寫

  • 預設值:如果您未傳遞 --enable-managed-gpu 或 --gpu-driver,AKS 會在以 NVIDIA GPU 啟用 VM 大小建立的節點集區上套用 Driver only 設定檔。
  • 覆寫:managementMode: Managed需要驅動程式,因此當--enable-managed-gpu=true和驅動程式仍已安裝時,會忽略--gpu-driver None 。 要跳過驅動程式,請同時設定 --enable-managed-gpu=false 和 --gpu-driver None。
  • 不可變性: managementMode、 migStrategy、 driver 均在創建時固定。 要更改設定檔,請建立一個新的節點池。

局限性

  • 此功能目前僅支援 啟用 NVIDIA GPU 的虛擬機器 (VM) 大小 。
  • AKS 不支援更新一般用途節點集區以新增 GPU VM 大小。
  • Windows 節點池不支援此功能,因為 GPU 指標不支援。 當你建立 Windows GPU 節點池時,AKS 會自動安裝並管理驅動程式和 DirectX 裝置外掛。 欲了解更多資訊,請參閱 AKS Windows GPU 文件。
  • 不支援移轉現有的 多執行個體 GPU 節點集區以使用此功能。
  • 不支援從現有 NVIDIA GPU 節點池升級到管理型 GPU 節點池。 要遷移,先封鎖並清空現有的 GPU 節點,然後將工作負載重新部署到用 --enable-managed-gpu=trueS 建立的新 GPU 節點池。 如需詳細資訊,請參閱 AKS 的 Resize node pools。
  • 節點池建立後,下方managementMode的 migStrategy、 driver及gpuProfile欄位皆為不變。 要更改這些值,請建立一個新的節點池。

備註

已啟用 GPU 的 VM 包含專用硬體,其受限於較高的價格和區域可用性。 如需詳細資訊,請參閱定價工具和區域可用性。

建立一個 AKS 管理的 GPU 節點池

透過傳遞 --enable-managed-gpu=true 給 az aks nodepool add,將管理型 GPU 節點池加入現有的 AKS 叢集。 AKS 會自動設定gpuProfile.nvidia.managementModeManaged並安裝 GPU 驅動程式、裝置外掛和 DCGM 指標匯出器。

對於使用 NAP 的 AKS Automatic 或 AKS Standard 叢集,請將管理式 GPU 堆疊配置在 AKSNodeClass ,而非使用 az aks nodepool add。

若要使用預設的 Ubuntu 作業系統 (OS) SKU,您可以建立節點集區,而不指定 OS SKU。 節點集區會根據叢集的 Kubernetes 版本來設定為預設作業系統。

  1. 使用具有旗標的az aks nodepool add命令,將--enable-managed-gpu=true節點集區新增至叢集。

    az aks nodepool add \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name gpunp \
        --node-count 1 \
        --node-vm-size Standard_NC4as_T4_v3 \
        --node-taints sku=gpu:NoSchedule \
        --enable-managed-gpu=true
    
  2. 確認受管理的 NVIDIA GPU 軟體元件已成功安裝:

    az aks nodepool show \
        --resource-group myResourceGroup \
        --cluster-name myAKSCluster \
        --name gpunp
    

    您的輸出應包含下列值:

    ...
    "gpuProfile": {
        "driver": "Install",
        "driverType": "",
        "nvidia": {
            "managementMode": "Managed",
            "migStrategy": null
        }
    },
    ...