本文說明如何在 Azure Kubernetes Service(AKS)叢集上有效執行使用圖形處理單元(GPU)節點的工作負載。 學習如何選擇合適的 SKU、使用 GPU 節點訓練機器學習模型,以及使用 GPU 節點在 AKS 上執行推論。
Scenarios
GPU 工作負載的執行成本可能很高。 若要避免不必要的成本,請知道何時在 AKS 叢集中部署 GPU 型節點。
GPU 是專為圖形、AI 和機器學習和特製化工作所建置,因此非常適合計算密集型工作負載。 中央處理器(CPU)有效管理複雜的邏輯與分支。 GPU 針對吞吐量進行優化,並能有效處理基本的算術運算與向量運算。
要判斷何時使用 GPU 來執行 AKS 工作負載,你必須了解 GPU 優化、運算強度及其他影響效能的因素。 若要深入瞭解 AKS 工作負載的 GPU 使用量,請考慮下列受益於 AKS 叢集中 GPU 節點的工作負載範例。
數據科學和分析
利用 GPU 加速資料前處理、特徵工程與資料科學工作流程中的模型訓練。 為了有效使用 GPU,像 Apache Spark、 RAPIDS 以及 Dask 的 GPU 支援等框架,擴展了熱門的資料處理函式庫,如 pandas 和 scikit-learn。
開源軟體(OSS)加速的SQL查詢引擎與列式資料庫如 HeavyDB ,皆使用GPU對大型資料集進行查詢與分析。
機器學習和深度學習
像 TensorFlow、PyTorch、Ray、vLLM 和 Triton Inference Server 這類熱門的機器學習與深度學習框架,能從 GPU 中受益,因為它們能加速訓練模型和執行推論的任務。 例如,Azure Machine Learning 透過使用 Triton Inference Server 支援在受管線上端點上進行高效能模型服務。 根據模型大小、記憶體需求、吞吐量及支援區域選擇支援 GPU 的虛擬機容量。 欲了解更多資訊,請參閱 AKS 上啟用 GPU 的節點池。
深度學習模型使用複雜的神經網路。 GPU 上的平行處理加速了它們的計算。 GPU 提供高效的矩陣乘法與卷積運算,這些是深度學習中的基本操作。
你也可以利用 GPU 加速影像分類、物件偵測、自然語言處理和語音辨識等任務。
計算機視覺和圖像處理
計算機視覺工作會解譯視覺數據以擷取有意義的資訊。 這些任務出現在人工智慧驅動的應用中,如自駕車、醫療影像、監控系統及擴增實境。 GPU 利用平行處理來有效處理大規模影像資料及複雜計算,如物件偵測、影像分類及特徵擷取等任務。
視訊處理和串流
轉碼、編碼和串流影片的工作負載計算量很大,尤其是高解析度內容時。 GPU 為低延遲、高吞吐量的影片處理提供了高效的平台,適用於體育賽事串流與企業影片等應用。
具備 GPU 功能的使用者節點可以在虛擬桌面環境中將圖形密集型任務卸載到 GPU。 使用 GPU 的影片編碼與解碼功能支援即時影片串流、轉碼與分析。
若要加速電腦視覺任務,如物件偵測、物件追蹤,以及影像或影片處理,請使用 OpenCV、TensorFlow 和 NVIDIA cuDNN 等框架。
遊戲平台與雲端遊戲服務使用 GPU 來渲染高解析度圖形,並在網路上串流流暢的遊戲體驗。
高效能運算
高效能運算 (HPC) 應用程式通常需要複雜的模擬、數值分析和科學計算。 為了有效率地執行這些任務,你可以使用 GPU 將工作負載平行化到多個核心。 需要大量平行運算能力的 HPC 應用範例包括科學模擬、天氣預報與分子建模。 GPU 支援平行運算並加速 HPC 工作負載。 它們同時提升科學與研究計算的效能。
為了加速 HPC 應用,像 NVIDIA CUDA 和 OpenACC 這類框架提供支援 GPU 的 API 與函式庫。
基因分析和生物資訊學
健康與生命科學的工作負載,如基因組分析與生物資訊學應用,處理基因資料,如DNA序列與蛋白質結構。 他們依賴複雜的演算法來比對序列、呼叫變異並挖掘基因組資料。 GPU 加速基因組分析工作流程,使研究人員能快速處理資料並發掘洞見。
生成式 AI 模型
像 OpenAI GPT 這類語言模型,以及像 Falcon 和 Phi 開放模型 這樣的開放權重模型,都利用了 GPU 平行處理的能力。 用 GPU 來執行這些模型並提升效能。 AI 工具鏈操作員 讓 AKS 叢集上的模型服務能達到高效能,並支援多種熱門推論服務引擎。 了解不同的模型使用案例與概念,請參閱 AKS 上的語言模型。
GPU 加速了訓練與推論任務,這些任務涉及複雜的計算與大量資料。 GPU 具有平行處理功能,可將指定模型的大型計算工作分割成同時執行的較小子工作。 此過程降低延遲並提升效能。
語言模型通常具有具有數個層級和參數的複雜類神經網路,這可能會增加計算需求。 GPU 加速語言處理中的關鍵運算,如矩陣乘法與卷積,從而縮短訓練與推論所需的時間。
GPU 提供足夠的記憶體容量、頻寬與處理能力,以處理具有對話介面並產生文字的語言模型應用。 例如,GPU 強化為與聊天機器人及 AI 助理互動的用戶提供低延遲的回應。
並非所有工作負載都受惠於啟用 GPU 的節點。 在某些情況下,CPU 就足夠了。 例如,主要受輸入與輸出限制的工作負載,或不需要大量計算,可能不會從 GPU 中受益。 將僅 CPU 的工作負載保留在 CPU 節點池中,讓 GPU 容量保留給請求 GPU 資源的工作負載,例如 nvidia.com/gpu。
客戶案例
許多Microsoft客戶利用 GPU 工作負載來為客戶創新。 請考慮下列範例:
- DeepBrain AI 可與 AKS 整合,輕鬆擴展 AI 工作負載
- NBA 球員在 Azure AI 基礎架構上利用 AI 提升效能
- 一家名為圖靈先生的 AI 公司利用 AI 和 AKS 讓公司資訊變得可搜尋
GPU 工作負載部署最佳做法
AKS 提供各種選項來部署已啟用 GPU 的 Linux 和 Windows 節點集區和工作負載。 一般指引請參閱 AKS 上的 GPU 最佳實務。
Linux 工作負載部署
建立一個節點池,使用支援 GPU 的虛擬機,搭配 NVIDIA GPU 或 AMD GPU。 對於預設的 NVIDIA GPU 節點池,請安裝並管理 NVIDIA Kubernetes 裝置外掛。 或者,您也可以選擇在 AKS 上啟用 NVIDIA 管理式 GPU 節點池 ,以自動安裝裝置外掛與指標匯出器。 對於 AMD GPU VM 大小,請依照 GPU 廠商的指引安裝相關的 Kubernetes 裝置外掛。 你無法更新現有的節點池來新增 GPU。
瞭解使用已啟用 Azure Linux GPU 的節點集區時的限制。 AKS 不會自動套用安全修補程式,叢集的預設行為是 未受控。
在調度使用 GPU 的節點池工作負載時,請使用 Kubernetes 節點選擇器、節點親和度,以及 污點和容忍度。 明確請求 GPU 資源,讓排程器將工作負載放在相容節點上。
Windows 工作負載部署
使用 支援的 GPU 虛擬機建立節點池。 此方法會建立一個支援 GPU 的 Windows 節點池。 AKS 會自動安裝驅動程式和 Kubernetes 裝置外掛。 這種方法不允許你更新現有的節點池來增加 GPU。
當你選擇支援的 GPU 啟用虛擬機時,AKS 會自動安裝所需的 NVIDIA CUDA 或 GRID 驅動程式。 某些工作負載相依於特定驅動程式,這可能會影響您的部署。 針對 NC 系列和 ND 系列 VM 大小,AKS 會安裝 CUDA 驅動程式。 針對 NV 系列 VM 大小,AKS 會安裝 GRID 驅動程式。
瞭解使用 Windows 節點集區時的限制。
在安排工作負載至支援 GPU 的節點池時,請使用 Kubernetes 的節點選擇器、節點親和性,以及污點和容忍。
備註
Windows GPU 是預覽功能。 你需要 註冊 WindowsGPUPreview 功能標記。
NVIDIA GPU 運算元
使用 NVIDIA GPU Operator 來部署和管理 Kubernetes 叢集中的 GPU 資源。 操作員自動化安裝、配置及維護所需軟體元件。 這種做法使用開源軟體,且不由 AKS 管理。 此方法有助於確保 NVIDIA GPU 在資源密集型工作負載(如 AI 與機器學習)上的最佳運用。
NVIDIA GPU Operator 會自動管理部署 GPU 所需的 NVIDIA 軟體元件,例如 NVIDIA 的 Kubernetes 裝置外掛 和 NVIDIA 容器執行時。 運算子會自動安裝驅動程式。 欲了解更多資訊,請參閱 NVIDIA GPU 操作員概述。
如果你想要對 NVIDIA GPU 工作負載進行進階控制與彈性,請在 AKS 上搭配啟用 GPU 的節點使用 NVIDIA GPU Operator。 該營運商不支援 Windows GPU。 在使用操作員之前,請 跳過自動安裝 GPU 驅動程式 ,也不要將操作員的驅動程式管理與 AKS 自動安裝程式合併使用。
考量下列最佳做法:
使用 NVIDIA GPU 操作員來進行進階的 GPU 配置,例如驅動程式版本選擇和 GPU 時間切片。
在使用操作員之前,請跳過自動驅動程式的安裝步驟。
使用叢集自動調整器的操作員時,將最小計數設為 1。
備註
當你使用 NVIDIA GPU Operator 時,Microsoft 不會在節點映像部署中維護或管理 NVIDIA 驅動程式的相容性。 欲了解更多資訊,請參閱 AKS 的 GPU 最佳實務。
用於 GPU 支援的推論的 AI 工具鏈 Operator
AI 工具鏈操作員簡化了您在 Kubernetes 叢集上運行開源語言模型(如 Falcon)的方式。 你可以在 AKS 叢集上部署 AI 工具鏈操作員,作為 AKS 的託管功能。 AI 工具鏈操作員負責配置 GPU 節點、建立推論伺服器作為端點或準備微 調工作 ,並縮短上線時間,讓您專注於機器學習作業,而非基礎架構的建立與維護。
為了改善 AKS 上的 AI 操作,AI 工具鏈操作員提供以下功能:
管理容器映像檔: 使用容器影像來管理語言模型。 AI 工具鏈操作員提供 HTTP 伺服器,讓您能使用 預設模型工作區 進行推論、 呼叫工具,並使用 模型上下文協定 (MCP)。
支援自攜自帶(BYO)模式: 使用 AI 工具鏈操作員,利用 自訂部署範本 與 HuggingFace Transformers 進行推論,導入內部預訓練語言模型。
提供內建的推論監控功能: 當您使用預設的 vLLM 推論引擎部署模型時,AI 工具鏈運算子會透過 Prometheus 和 Grafana 呈現即時 vLLM 指標 ,並揭露關於 AKS 叢集中推論效能與健康狀況的指標。
Anyscale on Azure 用於分散式 GPU 工作負載
Azure 上的 Anyscale 為 Ray 提供受管環境,Ray 是一個用於分散式 Python 工作負載的框架,包括訓練、超參數調整與批次推論。 在將該部署架構整合至現有 AKS 叢集前,請先確認其受支援。
Ray 架構考量:
- 排程:Kubernetes 會將 Ray worker Pod 放置在節點上,而 Ray 則將任務與 Actor 指派給這些 worker。 將應用程式的 CPU 與 GPU 需求與 pod 資源請求、節點選擇器及容忍對齊。
- GPU 記憶體:Ray GPU 宣告控制排程,而非 GPU 記憶體限制或裝置分割。 根據所指派 GPU 節點上可用的記憶體來調整每個工作負載的大小。
- 分散式執行:配置訓練框架、通訊函式庫(如 NCCL)及檢查點儲存,以正確地將模型分散到多個 GPU。
- 擴展與復原:協調 Ray 工作者擴展與 AKS 節點擴展、GPU 配額及區域容量。 測試從工作程式故障及節點池升級中恢復。
了解更多關於 Azure 上的 Anyscale:
工作負載和叢集調整
針對 AI 和機器學習案例,您必須區分訓練工作負載與使用預先訓練模型進行推斷。 要建立與訓練機器學習模型,請使用專為深度學習設計的 GPU 運算,並平行化 AI 運算。 訓練通常需要逐步擴展 GPU 資源,並將大量資料分散到各 GPU,以透過資料平行性達成高準確度。
模型分片是一種常見的進階技術,用於劃分模型訓練階段。 你可以將 GPU 指派給不同任務,並透過在 AKS 中的 NVIDIA GPU 節點池啟用 多實例 GPU(MIG) 來最大化其使用率。 GPU 可以擴展並擴展 HPC 工作負載,例如 Azure 上的 NV 系列或 ND 系列虛擬機。 這項功能可協助維護高資源使用量,並減少使用者對冗長且昂貴之機器學習訓練程式的介入。
或者,你也可以使用預先訓練的開源 AI 與機器學習模型進行推論。 從像 Llama、Falcon 或 Phi 這類熱門模型開始,比起建立和訓練完全客製化的語言模型更具成本效益。 如需詳細資訊,請參閱 AKS 上的語言模型。
當你使用預訓練模型進行推論時,資源使用會根據你處理的資料量而波動。 當你透過所選模型執行即時數據時,流量可能會根據模型規模和需求激增。 在推論過程中保持低延遲。 為了有效利用 GPU 達到高效能與低延遲,請透過 AI 工具鏈運算子支援的模型進行分散式推論。 此方法會擴充您的計算選項,將較低 GPU 數量的 SKU 納入考量,每個 SKU 含有一或兩個 GPU,提供跨 Azure 區域的高可用性,並降低維護成本。
使用節點選擇器、節點親和度、污點、容忍以及明確的 GPU 資源請求,讓訓練工作與推論複本排程在相容的 GPU 節點上。
GPU 健康監控
GPU 問題難以偵測,且常常會產生無聲錯誤或降低效能,而非直接故障。 這些問題增加了排查時間、不必要地消耗資源,並增加營運成本。
AKS 上的 GPU 健康監控 提供一致且頻繁的節點事件與狀況檢查。 節點問題偵測器(NPD)會報告使用 AKS 管理 GPU 驅動程式的節點池所屬的 GPU 特定狀況。 這些 GPU 檢查不適用於使用 --gpu-driver none 建立的節點池,包括本文所述的 NVIDIA GPU Operator 部署路徑。 一般的 NPD 監控仍可在這些節點上執行。 在支援的池中,NPD 會直接在 Kubernetes 節點條件中顯示出關鍵訊號,例如錯誤的 GPU 數量與連線相關故障,幫助團隊識別並回應問題。 此方法支援自動警報、節點封鎖及工作負載重新排程。 同時也有助於在運算密集環境中維持應用程式的可靠性與效能。
GPU 工作負載成本管理
GPU 可以增加成本。 監控工作負載,了解驅動 GPU 成本的因素,並找出優化機會。 為了提升成本可視性,請使用 AKS 成本分析工具。
下列案例受益於成本可見度。
已啟用 GPU 的 VM 大小成本
選擇合適的 GPU 啟用虛擬機大小,以優化執行 GPU 的成本。 每日成本可能會根據您選擇的 VM 大小而有所不同。 A100 GPU 價格不便宜,除非你的工作量需要,否則建議避免使用。 AKS 成本分析會顯示每個虛擬機的每日成本,以及每個在 GPU 啟用虛擬機上運行的工作負載相關成本。 利用這些資料評估你是否有合適的虛擬機容量,或是否需要更具成本效益的方案。
閑置成本
建立已啟用 GPU 的節點集區之後,即使您未執行 GPU 工作負載,仍會產生 Azure 資源的成本。 閑置成本代表工作負載不使用的可用資源容量成本。 如果你有好幾個未使用的節點,這些成本會迅速累積起來。 為了避免高空閒成本,只有在執行工作負載時才建立節點池,當沒有執行工作負載時則使用 像叢集停止功能 這類方法。 AKS 成本分析會顯示每個節點的閑置成本。
過度布建和資源閒置
過度配置是指您為 Pod 配置比所需更多的資源時。 過度布建會導致資源浪費和不足。 即使工作負載不使用,節點仍會繼續保留多餘資源。 若要減少過度布建,請使用 垂直 Pod 自動調整器,根據先前的使用模式調整準確的需求和限制。
當您的工作負載未充分利用 GPU 時,可能會發生使用不足的情況。 考慮進階技術來共享和分割 GPU。 與其部署多個節點,不如用單一節點搭配分割區來最大化 GPU 使用率。 這些技術幫助你為每個工作負載分配適當的 GPU 加速,提升使用率並降低部署的營運成本。
Linux GPU 工作負載在 AKS 上的部署支援 多實例 GPU。 使用此功能將 NVIDIA A100、H100 和 H200 GPU 分割成獨立執行個體。 每個實例都有自己的記憶體和數據流多處理器。
NVIDIA 支援其他分割技術,如時間切片與多程序服務(MPS)。 若要手動套用這些設定,請使用 NVIDIA GPU 操作員。 這些技術屬於 NVIDIA GPU Operator 選項,而非原生 AKS 分割功能。
進階情境下,你可以改善 AKS 節點的資源箱打包,並優化叢集中 GPU 資源的利用率。 您可以使用可設定的排程設定檔(預覽版)搭配內建(或 樹狀結構內)的 Kubernetes 排程外掛,導入與預設 AKS 排程器不同的工作負載擺放策略。 如需更多資訊,請參閱《 AKS 中工作負載配置的排程器設定概念》。
貢獻者們
本文由 Microsoft 維護。 下列參與者撰寫本文。
主要作者:
- Ayobami Ayodeji |資深專案經理
其他貢獻者:
- Sachi Desai |產品經理 2
- Ally Ford |產品經理 2
- Erin Schaffer |內容開發者 2
要查看非公開的 LinkedIn 個人檔案,請登入 LinkedIn。