在 AI Runtime 上排程 Notebook 作業

在 AI Runtime 上以互動方式開發筆記本後,你可以用無伺服器 GPU 運算來執行同一個筆記本,作為重複執行工作。 你可以從筆記本或 Jobs & Pipelines UI 建立排程,或用 Jobs API 或 Declarative Automation Bundles 在程式碼中定義工作。

若要從目錄執行訓練程式碼而非筆記本,或建立多工 GPU 與 CPU 管線,請參見 「排程 GPU 工作負載與組合任務」。 關於適用於所有筆記本的排程選項,請參見 「建立與管理排程筆記本工作」。

Requirements

備註

排程的 AI 執行時工作不支援透過 環境 面板新增相依關係。 改為在 Notebook 中安裝相依項,例如使用 %pip install. 筆記本工作最多可執行兩天,因此請將長時間執行的訓練檢查點儲存到 Unity Catalog 磁碟區,然後從最新的檢查點重新啟動。 請參閱 AI 執行時限制 與 使用 Distributed Checkpoint (DCP) 的 Checkpoint。

來自筆記本的行程

  1. 打開你想按排程執行的筆記本。
  2. 點擊筆記本右上角的 行事曆圖示。 排程。
  3. 如果 Notebook 已經有作業,請點擊 新增排程。
  4. 在「新排程」對話框中,輸入工作名稱,設定排程,並為運算選擇無伺服器 GPU。
  5. 點擊 建立。

新的排程表單會顯示已排程的筆記本作業的作業名稱、排程和運算欄位。

從工作與管線介面進行排程

你也可以從 工作與管線 介面中建立並排程工作。 有關逐步說明,請參閱「配置與編輯 Lakeflow Jobs」。

從 Jobs 與 Pipelines UI 建立並排程 AI 執行時筆記本的工作。

用 Jobs API 或宣告式自動化套件來定義工作

要自動化部署,請用 Jobs API 或 Declarative Automation Bundles 定義筆記本工作。 在任務的 hardware_accelerator 區塊中,選擇帶有 compute 的 GPU 類型。 有關有效值,請參閱 宣告式自動化組合中的「將任務新增至工作」。

以下宣告式自動化套件組設定會每日使用 8 顆 H100 GPU 在 標準環境中執行筆記型電腦:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

使用 Databricks AI 環境

Important

使用工作空間基礎環境(包括 Databricks AI 環境)執行排程工作目前仍處於 測試階段。

若要使用 Databricks 的 AI 環境而非標準環境,請在環境 spec 中,將 base_environment 設為 AI 環境識別碼,例如 databricks_ai_v6。 接著在該任務的 environment_key 中參照該環境:

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100

其他資源