AI Runtime 是一種無伺服器的 GPU 運算,用於訓練、微調,以及針對自訂深度學習模型執行批次推論。 如果你在經典運算上使用 Databricks Runtime ML 執行這些工作負載,Databricks 建議將它們移至 AI 執行環境,以降低總擁有成本、提供更靈活的開發者體驗,以及支援多節點擴展。 以下章節將比較兩者,針對機器學習工程師與平台團隊,並說明 Genie Code 如何協助你遷移。
比較 AI 執行階段與經典運算
下表比較了 AI 執行時與 Databricks Runtime ML 在傳統運算上的差異:
| Capability | AI 運行環境 | 搭配 Databricks Runtime ML 的經典運算資源 |
|---|---|---|
| 擁有權總成本 (TCO) | 透過管理型無伺服器 GPU 基礎設施、高吞吐量效能、優化資料載入,以及透過 Spark Connect 存取 Spark 來降低 TCO。 你只為你的工作負載所用的運算量付費。 Azure Databricks 會幫你管理叢集、驅動節點和 GPU 健康狀況。 | 叢集管理負擔較高、啟動緩慢,以及資料載入和檢查點未優化。 你要管理叢集配置和 GPU 健康狀況,這會增加取得和維護 GPU 叢集的成本。 |
| 開發人員體驗 | 從 Databricks 的 CLI、IDE 和筆記本中開發並部署。 Native Ray 支援。 選擇最精簡的 Standard 環境以完全控制相依性、Databricks AI 環境(含常見的 AI 與機器學習套件),或自訂的 Docker 映像檔。 | 可以在筆記本中開發,或透過 SSH 隧道從 IDE 連接。 沒有專用於 GPU 訓練工作負載的 CLI。 Ray 在 Spark 上執行。 大量預裝的函式庫與執行階段版本綁定,包括與 AI 和機器學習無關的套件。 |
| 規模與效能 | 多節點訓練與批次推論。 優化資料載入與建立檢查點。 長時間訓練時GPU可靠性高。 | 因為您必須自行設定節點和網路,所以未針對多節點訓練進行最佳化。 你手動優化資料載入和檢查點建立,並驗證 GPU 狀態。 |
總擁有成本
AI Runtime 透過管理型高效能無伺服器 GPU 降低總擁有成本:
- 更快啟動: 無伺服器 GPU 基礎設施可隨時提供,不用等 GPU 叢集啟動。 經典 GPU 叢集可能需要數分鐘甚至更久才能啟動,視叢集大小和 GPU 可用性而定。
- 隨用付費定價: 您只需為工作負載所使用的無伺服器 GPU 運算付費,無需管理或支付閒置叢集費用。
- 較高的 GPU 利用率: 靈活的計算選項、快速的資料載入、高效的檢查點及多節點訓練,能減少閒置 GPU 時間。
- 降低行政負擔: AI Runtime 負責運算部署、叢集網路、GPU 健康管理及 CUDA 驅動程式升級。 透過傳統運算,您的團隊負責節點管理、叢集配置及持續的基礎設施維護。
開發人員體驗
AI Runtime 為 AI 與深度學習工作負載提供靈活的開發體驗:
- 連接性: 可在 筆記本中工作,或透過 SSH 隧道 (Beta)從 IDE 連接,或使用 Databricks CLI 提交工作負載。 要自動化執行、 排程工作或使用 Declarative Automation Bundles。 Classic Compute 沒有專用的 CLI 可用來提交 GPU 訓練工作負載。
- 專用深度學習執行環境: AI 執行環境原生支援如 Ray 與 PyTorch 等框架。 選擇 標準環境 以完全掌控你的相依性堆疊,Databricks 的 AI 環境 搭配常見的 AI 與機器學習套件,或使用 自訂 Docker 映像檔。 經典執行環境包含大量與執行時版本綁定的預裝函式庫。
- 除錯與可觀察性: 追蹤實驗、監控計算使用率、管理模型,並透過 內建 MLflow 整合排除問題。 在傳統運算中,日誌與計算利用率指標不會自動儲存在 MLflow 執行記錄中。
- 安全資料存取:透過 Spark Connect 存取由 Unity Catalog 管理的結構化與非結構化資料,無需運行 Apache Spark 叢集。
規模與效能
AI 執行環境協助你有效率地擴展深度學習工作負載:
- 優化資料載入與檢查點: 高吞吐量資料載入與非同步分散檢查點加速訓練流程並減少 GPU 閒置時間。 Classic compute 缺乏原生高吞吐量資料載入器與分散式檢查點。 請參閱 提升 AI 執行時的訓練效能與韌性。
- 內建 GPU 韌性: 持續的自動化健康檢查有助於偵測並隔離故障的 GPU 節點,減少長時間訓練帶來的干擾。 傳統運算是你自己維護 GPU 節點的健康狀態,而要隔離壞節點就需要中斷正在進行的工作負載。 請參閱 Databricks 工程部落格中的 我們如何在 Databricks AI 中確保 GPU 的可靠性。
- 多節點訓練: 可從單一 GPU 擴展到多 節點分散式訓練 ,具備高速網路與自動環境配置。 支援多節點訓練的加速器,請參見 硬體選項。
- 自訂批次推論: 在分散式 GPU 上執行大規模 自訂批次推論 ,無需管理 GPU 叢集。
使用 Genie Code 從經典運算遷移
Genie Code 可以幫助在連接 AI Runtime 的筆記本中自動化程式碼重構和環境設定,當你將工作負載從經典運算轉移時。 完整遷移步驟請參見 「將經典 GPU 工作負載遷移至無伺服器」。
Genie Code 可自動化的項目
Genie Code 可協助完成以下遷移任務:
-
重構: 將 Databricks 執行時機器學習筆記本(如使用
TorchDistributor,)轉換為使用@distributed裝飾器的databricks.airAI 執行時筆記本。 - 相依性解決: 評估筆記本匯入,識別遺失或不相容的套件,並配置無伺服器 GPU 環境。
- 多個 rank 的錯誤診斷: 分析跨所有節點的輸出日誌,以定位根本原因,例如 GPU 記憶體不足(OOM)錯誤或通訊停滯。
Genie Code 遷移提示範例
以下是你可以提供給 Genie Code 的提示範例:
- 程式碼轉換: 「將此筆記本從 TorchDistributor 遷移到 databricks.air @distributed decorator。」
- 環境設定: 「檢查匯入的套件,推薦 Databricks AI 或標準環境,並產生所需的 %pip 安裝指令。」
- 除錯:「分析所有 rank 的分散式訓練日誌,以找出作業失敗的原因。」