GPU 工作負載的高效放置和優化通常需要了解資源利用率和效能。 AKS 上的受控 GPU 計量提供 NVIDIA GPU 啟用節點集區間的 GPU 使用率、記憶體和效能資料的自動收集與公開。 此能力使平台管理員能優化叢集資源,開發者則能在有限的手動插樁下調整與除錯工作負載。
本文將介紹 NVIDIA Data Center GPU Manager (DCGM) 匯出器在 Azure Kubernetes Service (AKS) 中以管理型 GPU 啟用節點池收集的 GPU 指標。
先決條件
- 具有受控 GPU 啟用節點集區的 AKS 叢集,並確保 GPU 可排程。
- 部署至節點集區的 範例 GPU 工作負載 。
- 在你的 AKS 叢集上啟用了 Azure Managed Prometheus。
確認已安裝受控 GPU 元件
依照這些指示建立您的受控 NVIDIA GPU 節點集區後,請使用 az aks nodepool show 命令確認 GPU 軟體元件已安裝:
az aks nodepool show \
--resource-group <resource-group-name> \
--cluster-name <cluster-name> \
--name <node-pool-name> \
您的輸出應包含下列值:
...
"gpuProfile": {
"driver": "Install",
"driverType": "",
"nvidia": {
"managementMode": "Managed",
...
...
}
},
...
...
自訂 Azure 受控 Prometheus 中 GPU 計量的抓取
建立並套用 ConfigMap,以在 dcgm-exporter 命名空間中的 Azure 監視器代理程式中,啟用從 kube-system 抓取 NVIDIA GPU 計量的抓取設定檔,如下所示:
cat <<EOF | kubectl create -f -
kind: ConfigMap
apiVersion: v1
data:
schema-version:
v1
config-version:
ver1
default-scrape-settings-enabled: |-
dcgmexporter = true
metadata:
name: ama-metrics-settings-configmap
namespace: kube-system
EOF
備註
當此 ConfigMap 在 AKS 叢集上套用一次後,叢集中所有既有與新增的 NVIDIA GPU 節點集區都會自動被抓取。
在 Azure 受控 Prometheus 中停用 GPU 計量的自動抓取
若要停用由 Azure 監視器 管理的 Prometheus (AMA) 代理程式對 NVIDIA DCGM 指標的抓取,請編輯相同的 ConfigMap。 你的 GPU 工作負載不會受影響。
執行以下命令:
kubectl edit configmap ama-metrics-settings-configmap -n kube-system
將 dcgmexporter 設定從 true 更新為 false。
...
...
default-scrape-settings-enabled: |-
dcgmexporter = false
...
...
NVIDIA DCGM 指標不再出現在 Azure 監視器 或 Metrics Explorer。
監控 GPU 指標在 Azure 入口網站中
在你為 AKS 叢集建立 Azure 監視器 工作區後,請到 Azure 入口網站,並在你的 Azure 監視器 工作區中開啟 Azure 監視器>Dashboards with Grafana。
使用搜尋列,篩選帶有
Kubernetes | NVIDIA GPU DCGM Exporter標籤的Azure-managedGrafana 儀表板。選擇此儀表板,確認所選
Cluster與Prometheus Datasource你啟用 GPU 的節點池相符。 你現在可以查看即時 GPU 指標,如下圖所示:
了解 GPU 指標
GPU 使用率指標
GPU 利用率指標顯示 GPU 核心在積極處理工作的時間百分比。 高值表示 GPU 使用頻繁,這通常適合訓練或資料處理等工作負載。 此指標的解釋應考慮工作負載的類型:AI 訓練通常會保持高使用率,而推理可能會因突發流量而具有間歇性使用率。
記憶體使用率:顯示正在使用的 GPU 記憶體百分比。 高記憶體使用量但 GPU 使用率不高,可能表示記憶體受限的工作負載,其中 GPU 等候記憶體傳輸。 記憶體使用率低且使用率低可能表示工作負載太小,無法充分利用 GPU。
SM(串流多處理器)效率:衡量 GPU 核心的使用效率。 低 SM 效率表示核心由於工作負載不平衡或核心設計不佳而閒置或未充分利用。 高效率是運算密集型應用程式的理想選擇。
記憶體指標
記憶體頻寬利用率:反映正在消耗的理論記憶體頻寬量。 高頻寬使用率和低計算使用率可能表示記憶體繫結工作負載。 相反地,運算和記憶體頻寬的高使用率表示工作負載平衡良好。
記憶體錯誤:若啟用,追蹤錯誤更正碼(ECC)錯誤。 大量錯誤可能表示硬體退化或熱問題,應監控可靠性。
溫度和功率指標
GPU 溫度:表示 GPU 的工作溫度。 持續的高溫會觸發熱節流,從而降低效能。 對該指標的理想解釋包括觀察相對於 GPU 熱限制和冷卻能力的溫度。
功耗:顯示瞬時功耗。 將功耗與 TDP(熱設計功耗)進行比較有助於了解 GPU 是否被推向極限。 功率突然下降可能表示節流或利用率不足。
時鐘和頻率指標
GPU 時脈:GPU 的實際工作頻率。 結合使用率,這有助於判斷 GPU 是否正在降頻或效能低於其預期。
記憶體時脈:GPU記憶體的工作頻率。 記憶體受限的工作負載可能會受益於更高的記憶體時脈。記憶體和運算使用率之間的不匹配可能會突出瓶頸。
PCIe 和 NVLink 指標
PCIe 頻寬:測量 PCIe 匯流排上的吞吐量。 工作負載繁重的低使用率可能表示 CPU-GPU 通訊不是瓶頸。 高利用率可能表明數據傳輸限制影響性能。
NVLink 頻寬:此指標類似於 PCIe 頻寬,但特定於 NVLink 互連,並且與跨 GPU 通訊的多 GPU 系統相關。 高 NVLink 使用率和低 SM 使用率可能表示同步或資料傳輸延遲。
錯誤和可靠性指標
已淘汰的頁面和 XID 錯誤:追蹤 GPU 記憶體錯誤和嚴重故障。 頻繁出現可能代表潛在的硬體故障,必須對於長時間執行的工作負載特別留意。
解讀指導
DCGM 指標應該根據你在 AKS 上的工作負載類型來解讀。 理想情況下,高計算密集型工作負載應顯示高 GPU 和 SM 使用率、高記憶體頻寬使用率、低於節流閾值的穩定溫度,以及接近但低於 TDP 的功耗。
記憶體繫結工作負載可能會顯示高記憶體使用率和頻寬,但計算使用率較低。 高溫或高耗電量伴隨低使用率等異常通常表示節流、排程效率低下或系統層級瓶頸。
監控一段時間內的趨勢而不是單一快照至關重要。 使用率突然下降或錯誤激增通常會在影響生產工作負載之前揭示潛在問題。 在多個 GPU 之間進行指標比較,還有助於識別節點群集中表現異常或故障的裝置。 結合而不是孤立地了解這些指標,可以最清楚地了解 GPU 效率和工作負載效能。
常見的 GPU 指標
下列 NVIDIA DCGM 指標通常會針對 Kubernetes 上 GPU 節點集區的效能進行評估:
| GPU 指標名稱 | Meaning | 典型範圍/指標 | 使用提示 |
|---|---|---|---|
DCGM_FI_DEV_GPU_UTIL |
GPU 使用率 (% GPU 核心處於作用中狀態的時間) | 0–100%(越高越好) | 監控每個節點和每個 Pod;較低的值可能表示 CPU 或 I/O 瓶頸 |
DCGM_FI_DEV_SM_UTIL |
串流多處理器效率(活躍核心百分比) | 0–100% | 在高記憶體使用率下出現低的值,表示工作負載受限於記憶體 |
DCGM_FI_DEV_FB_USED |
已使用的影格緩衝記憶體 (位元組) | 從 0 到總記憶體 | 使用 Pod GPU 記憶體限制並追蹤每個 Pod 記憶體使用量 |
DCGM_FI_DEV_FB_FREE |
可用 GPU 記憶體 (位元組) | 從 0 到總記憶體 | 適用於排程和避免 OOM 錯誤 |
DCGM_FI_DEV_MEMORY_UTIL |
記憶體使用率 (%) | 0–100% | 結合 GPU/SM 使用率,以判斷記憶體繫結工作負載 |
DCGM_FI_DEV_MEMORY_CLOCK |
目前記憶體時脈頻率 (MHz) | 0 至最大記憶體時脈 | 高記憶體使用率下的低值可能表示節流 |
DCGM_FI_DEV_POWER_USAGE |
瞬時用電量(瓦特) | 0 到 TDP | 在高使用率期間出現下降,可能表示正在降頻 |
DCGM_FI_DEV_TEMPERATURE |
GPU 溫度 (°C) | ~30–85°C 正常 | 持續高溫警戒 |
DCGM_FI_DEV_NVLINK_RX |
NVLink 接收頻寬使用率 (%) | 0–100% | 如果 SM 使用率低但值很高,可能表示多 GPU 同步存在瓶頸 |
DCGM_FI_DEV_XID_ERRORS |
驅動程式報告的 GPU 嚴重錯誤 | 通常為 0 | 需要立即調查;可以污染 Kubernetes 中的節點 |
若要瞭解全套 GPU 指標,請造訪 NVIDIA DCGM 上游文件。
後續步驟
- 了解 AKS 上 GPU 可觀察性的最佳實務
- 使用節點問題偵測器 (NPD) 追蹤您的 GPU 節點運作狀態
- 在你的 AKS 叢集上建立 多實例 GPU 節點池