AI 執行時筆記本快速入門

Important

這項功能目前處於 公開預覽版。

用 AI Runtime,只需幾個點擊,就能從空白筆記本到GPU上的PyTorch。 把筆記型電腦接到 無伺服器 GPU ,不用叢集設定,然後有 GPU 監控功能,GPU 節點上有終端機,還有內建 Genie Code。

一台連接於無伺服器 GPU 的 AI 執行時筆記本,具備選擇 GPU 類型、設定環境、監控使用率、使用代理程式及開啟終端機的呼叫。

開始之前

你的工作區必須啟用 AI 執行環境,且位於支援的區域。 請參閱 需求說明。

步驟 1:將筆記型電腦連接到 GPU

  1. 建立或打開筆記本。
  2. 從筆記本頂端的計算下拉選單中,選擇 無伺服器 GPU。
  3. 在 加速器 欄位中,選擇 1xA10。
  4. 點 選「應用」,然後 確認。

Tip

先從 1xA10 開始,適合開發和小型工作負載。 當你需要更多 GPU 記憶體或多 GPU 分散式訓練時,可以改用 1xH100 或 8xH100 。 請參閱 硬體選項。

步驟 2:執行你的第一段 GPU 程式碼

預設的 Databricks AI 環境 預裝了 PyTorch、Transformers、vLLM、panda 以及更多套件。 完整清單請參閱 Databricks AI 環境。

請執行以下筆記本,以確認 GPU 是否已附加,並執行一個訓練步驟:

AI 執行時快速啟動筆記本

拿筆記本

你現在正在使用無伺服器 GPU 運算資源進行訓練。

探索 GPU 筆記型電腦

筆記本附帶工具幫助你操作 GPU。 你可以切換基地環境、監控 GPU 使用率、在 GPU 節點上開啟終端機,並使用 Genie Code 來撰寫和除錯你的程式碼。

切換環境

在右側面板點選環境,可以選擇不同的基底環境或加速器。 請參閱 「建立你的環境」。

環境側面板開啟基礎環境下拉選單,顯示標準和 AI 環境版本。

監看 GPU 使用率

點擊右側面板的 GPU 資源 ,可以看到程式碼執行時的即時 GPU 使用率和記憶體。 請參考 「監控 GPU 資源」。

GPU 資源面板顯示 GPU 利用率和記憶體使用率隨時間變化的圖表。

在 GPU 節點上開啟終端機

按一下右下角的 終端機,即可開啟 GPU 節點上的 shell。 執行 nvidia-smi、檢查檔案或直接除錯程序。 請參閱在 Azure Databricks 網路終端機中執行 Shell 命令。

一個在 H100 GPU 節點上運行 nvidia-smi 的網頁終端機。

讓 Genie Code 幫你撰寫與除錯

在右側面板點選「 精靈代碼 」,描述你想要的。 代理程式可以撰寫訓練程式碼、修正相依性衝突,並除錯 GPU 故障。 請參見 「使用 Genie Code 搭配 AI 執行時間」。

Genie Code 面板,其中的提示要求代理程式修復 torchao 程式庫衝突。

下一步