為什麼要用 AI 執行階段而不是經典運算

AI Runtime 是一種無伺服器的 GPU 運算,用於訓練、微調,以及針對自訂深度學習模型執行批次推論。 如果你在經典運算上使用 Databricks Runtime ML 執行這些工作負載,Databricks 建議將它們移至 AI 執行環境,以降低總擁有成本、提供更靈活的開發者體驗,以及支援多節點擴展。 以下章節將比較兩者,針對機器學習工程師與平台團隊,並說明 Genie Code 如何協助你遷移。

比較 AI 執行階段與經典運算

下表比較了 AI 執行時與 Databricks Runtime ML 在傳統運算上的差異:

Capability AI 運行環境 搭配 Databricks Runtime ML 的經典運算資源
擁有權總成本 (TCO) 透過管理型無伺服器 GPU 基礎設施、高吞吐量效能、優化資料載入,以及透過 Spark Connect 存取 Spark 來降低 TCO。 你只為你的工作負載所用的運算量付費。 Azure Databricks 會幫你管理叢集、驅動節點和 GPU 健康狀況。 叢集管理負擔較高、啟動緩慢,以及資料載入和檢查點未優化。 你要管理叢集配置和 GPU 健康狀況,這會增加取得和維護 GPU 叢集的成本。
開發人員體驗 從 Databricks 的 CLI、IDE 和筆記本中開發並部署。 Native Ray 支援。 選擇最精簡的 Standard 環境以完全控制相依性、Databricks AI 環境(含常見的 AI 與機器學習套件),或自訂的 Docker 映像檔。 可以在筆記本中開發,或透過 SSH 隧道從 IDE 連接。 沒有專用於 GPU 訓練工作負載的 CLI。 Ray 在 Spark 上執行。 大量預裝的函式庫與執行階段版本綁定,包括與 AI 和機器學習無關的套件。
規模與效能 多節點訓練與批次推論。 優化資料載入與建立檢查點。 長時間訓練時GPU可靠性高。 因為您必須自行設定節點和網路,所以未針對多節點訓練進行最佳化。 你手動優化資料載入和檢查點建立,並驗證 GPU 狀態。

總擁有成本

AI Runtime 透過管理型高效能無伺服器 GPU 降低總擁有成本:

  • 更快啟動: 無伺服器 GPU 基礎設施可隨時提供,不用等 GPU 叢集啟動。 經典 GPU 叢集可能需要數分鐘甚至更久才能啟動,視叢集大小和 GPU 可用性而定。
  • 隨用付費定價: 您只需為工作負載所使用的無伺服器 GPU 運算付費,無需管理或支付閒置叢集費用。
  • 較高的 GPU 利用率: 靈活的計算選項、快速的資料載入、高效的檢查點及多節點訓練,能減少閒置 GPU 時間。
  • 降低行政負擔: AI Runtime 負責運算部署、叢集網路、GPU 健康管理及 CUDA 驅動程式升級。 透過傳統運算,您的團隊負責節點管理、叢集配置及持續的基礎設施維護。

開發人員體驗

AI Runtime 為 AI 與深度學習工作負載提供靈活的開發體驗:

規模與效能

AI 執行環境協助你有效率地擴展深度學習工作負載:

  • 優化資料載入與檢查點: 高吞吐量資料載入與非同步分散檢查點加速訓練流程並減少 GPU 閒置時間。 Classic compute 缺乏原生高吞吐量資料載入器與分散式檢查點。 請參閱 提升 AI 執行時的訓練效能與韌性。
  • 內建 GPU 韌性: 持續的自動化健康檢查有助於偵測並隔離故障的 GPU 節點,減少長時間訓練帶來的干擾。 傳統運算是你自己維護 GPU 節點的健康狀態,而要隔離壞節點就需要中斷正在進行的工作負載。 請參閱 Databricks 工程部落格中的 我們如何在 Databricks AI 中確保 GPU 的可靠性。
  • 多節點訓練: 可從單一 GPU 擴展到多 節點分散式訓練 ,具備高速網路與自動環境配置。 支援多節點訓練的加速器,請參見 硬體選項。
  • 自訂批次推論: 在分散式 GPU 上執行大規模 自訂批次推論 ,無需管理 GPU 叢集。

使用 Genie Code 從經典運算遷移

Genie Code 可以幫助在連接 AI Runtime 的筆記本中自動化程式碼重構和環境設定,當你將工作負載從經典運算轉移時。 完整遷移步驟請參見 「將經典 GPU 工作負載遷移至無伺服器」。

Genie Code 可自動化的項目

Genie Code 可協助完成以下遷移任務:

  • 重構: 將 Databricks 執行時機器學習筆記本(如使用 TorchDistributor,)轉換為使用 @distributed 裝飾器的 databricks.airAI 執行時筆記本。
  • 相依性解決: 評估筆記本匯入,識別遺失或不相容的套件,並配置無伺服器 GPU 環境。
  • 多個 rank 的錯誤診斷: 分析跨所有節點的輸出日誌,以定位根本原因,例如 GPU 記憶體不足(OOM)錯誤或通訊停滯。

Genie Code 遷移提示範例

以下是你可以提供給 Genie Code 的提示範例:

  • 程式碼轉換: 「將此筆記本從 TorchDistributor 遷移到 databricks.air @distributed decorator。」
  • 環境設定: 「檢查匯入的套件,推薦 Databricks AI 或標準環境,並產生所需的 %pip 安裝指令。」
  • 除錯:「分析所有 rank 的分散式訓練日誌,以找出作業失敗的原因。」

其他資源