air
Databricks CLI 中的指令群組負責提交並管理 GPU 工作負載,如訓練與推論,並搭配 AI 執行時。
關於工作負載設定欄位,請參見 工作負載 YAML 參考資料。 要提交你的第一個工作負載,請參閱 AI 執行環境快速啟動。
Databricks 空中跑
從 YAML 設定提交工作負載。 輸出包含工作執行 ID 和工作執行 URL。
databricks air run --file YAML_PATH [flags]
Arguments
None
選項
-f, --file string
工作負載 YAML 設定的路徑。 這是必要選項。
--watch
從第一個節點(節點 0)開始進行串流日誌,直到執行達到終端狀態。 預設值:false。
--override stringArray
用 FIELD_PATH=VALUES 覆蓋 YAML 欄位。 重複這個選項以覆蓋多個欄位。
--dry-run
在不提交工作負載的情況下驗證設定。 預設值:false。
--idempotency-key string
回傳先前使用過的舊行程。 在 YAML 中被 idempotency_token 覆蓋。 最多:64 字元。
Examples
以下範例從第一個節點(節點 0)提交工作負載 train.yaml 並串流日誌,直到執行結束:
databricks air run --file train.yaml --watch
若要在背景提交,請省略 --watch。 指令在臣服後返回。 使用回傳的 Job Run ID 來檢查狀態與串流日誌:
databricks air get <job-run-id>
databricks air logs <job-run-id>
使用同一個工作區設定檔來管理提交、狀態和日誌。 請參閱 Databricks CLI 的設定設定檔。
將設定路徑作為獨立參數 -h 傳遞以顯示工作負載配置說明:
databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type
Databricks air get
取得跑步的細節。
databricks air get JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
工作執行 ID 由 databricks air run返回。
選項
Databricks 空中列表
清單執行。 預設情況下,指令會列出目前使用者提交的活躍執行。
databricks air list [flags]
Arguments
None
選項
--limit int
最多可展示的得分數。 預設值:20。
--all-status
包含終端狀態下的跑動。 預設值:false。
--all-users
包含其他用戶提交的作品。 預設值:false。
--filter stringArray
過濾器執行時使用 KEY=VALUE。 重複這個選項以增加條件。 跑必須符合所有條件。 請參見濾波器鍵。
濾波器鍵
每個 --filter 選項都包含一個 KEY=VALUE 條件。
= 是唯一的運算子。 你無法否定某個病症、比較範圍,或將病症與運氣術合併。
| Key | 相符項目 | Example |
|---|---|---|
accelerator_type |
加速器族,如 A10 或 H100,或工作負載 YAML 的全 accelerator_type 值,如 GPU_8xH100。 姓氏不區分大小寫。 |
accelerator_type=H100 |
experiment |
和整個實驗名稱相比,這只是一團團的圖案。 此匹配不區分大小寫。
* 匹配任意一串字元、 ? 匹配一個字元,以及 [abc] 匹配集合中的一個字元。 不支援正則表達式。 沒有通配字的值只匹配一個名稱完全相同的實驗。 |
'experiment=qwen*' |
num_accelerators |
這次執行的 GPU 總數。 該值必須是正整數,且必須完全匹配。 | num_accelerators=8 |
user |
提交該跑動的使用者名稱。 價值必須完全一致。 這個鍵取代了預設的限制,只能限制你自己跑幾次,所以你不需要 --all-users。 |
user=person@example.com |
關於支援 accelerator_type 的值,請參見 加速器類型。
篩選器會縮小指令已經列出的行程範圍。 沒有 --all-status,只有主動順子才能匹配。
在包含 *、 、 ?的 [ 條件周圍加上單引號,讓 shell 將模式傳給 CLI 不變。
如果條件不在 KEY=VALUE form、使用的鍵不在表格中,或是值為空或無效,指令會回傳錯誤。
Examples
以下範例列出你使用H100加速器的活躍跑線:
databricks air list --filter accelerator_type=H100
以下範例列出了實驗名稱以開qwen頭且共使用八顆 GPU 的提交狀態person@example.com下的執行:
databricks air list --all-status \
--filter 'experiment=qwen*' \
--filter num_accelerators=8 \
--filter user=person@example.com
Databricks 空中日誌
串流或取木頭來執行。
databricks air logs JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
工作執行 ID 由 databricks air run返回。
選項
--node int
選擇一個以零為基礎的節點索引。 預設值:0。
--tail int
現有的原稿要列印數量。 預設值:10000。
--minutes int
取出過去幾分鐘的紀錄。 不能與 --tail結合使用。 預設值:0。
--retry int
選擇重試嘗試。
0 是最初的嘗試,也是 -1 最新的。 預設值:-1。
--download-to string
下載完整日誌到目錄。 除非 --node 設定,否則會下載所有節點。 無法與 --tail 或 --minutes結合。
Databricks 空中取消
依據工作執行 ID 取消一個或多個執行,或取消目前使用者提交的所有活躍執行。
databricks air cancel [JOB_RUN_ID...] [flags]
Arguments
JOB_RUN_ID
一個或多個工作執行的ID。 不能與 --all結合使用。
選項
--all
取消目前用戶提交的所有活躍跑道。 預設值:false。
-y, --yes
跳過 。--all 預設值:false。
Databricks Air Images 推送
將容器映像推送到 Artifact Registry。
關於推送映像的前置條件與說明,請參見 Push image with the Databricks CLI。
databricks air images push [flags]
Arguments
None
選項
-s, --source string
來源容器影像以名稱形式呈現,並可選標籤()NAME[:TAG]或摘要NAME@DIGEST()。 若在互動終端機中省略,指令會提示該值。
--catalog string
目的地 Unity 目錄。 若在互動終端機中省略,指令會提示該值。
--schema string
目的地 Unity 目錄架構。 若在互動終端機中省略,指令會提示該值。
--artifact string
目的文物為 ARTIFACT[:TAG]。 預設為來源圖片名稱和標籤,或當來源沒有標籤時則使用標籤 latest 。
--pull
在推送前,從其登錄檔拉取原始映像檔,而不是重複使用可用的本地映像檔。 預設值:false。
Databricks Air 轉換成 DAB
將工作負載的 YAML 配置轉換成 Databricks 資產套件。 此本地指令可databricks.yml依 寫入並啟動檔案。generated_artifacts/
此指令是通往進階生產工作流程的可選橋樑。 你可以繼續使用 databricks air run 而不需轉換設定。
關於套件工作流程,請參見 「排程 GPU 工作負載與組合任務」。
databricks air convert-to-dabs YAML_PATH [flags]
Arguments
YAML_PATH
工作負載 YAML 配置的路徑。
選項
--output-dir string
指令寫入 bundle 的目錄。 程式碼來源必須在這個目錄中。 預設值:包含輸入 YAML 檔案的目錄。
--force
覆蓋已存在的組合檔案。 預設值:false。
全域旗標
--debug
是否要啟用偵錯記錄。
-h 或 --help
顯示 Databricks CLI、相關命令群組或相關命令的幫助說明。
--log-file 字串
字串,表示要寫入輸出記錄檔的檔案。 若未指定此旗標,則預設值是將輸出記錄寫入 stderr。
--log-format 節目形式
記錄格式類型,text 或 json。 預設值為 text。
--log-level 字串
表示日誌格式層級的字串。 若未指定,則日誌的格式層級功能將被停用。
-o, --output 類型
指令輸出類型,text 或 json。 預設值為 text。
-p, --profile 字串
用於執行命令的~/.databrickscfg檔案中的配置檔名稱。 如果未指定此旗標,則如果存在,則會使用名為 DEFAULT 的配置檔。
--progress-format 節目形式
顯示進度記錄的格式:default、、appendinplace、 或json
-t, --target 字串
如果適用,要使用的套件組合目標
從舊有的 Python CLI 遷移過來
Databricks CLI 與已棄用的基於 air Python 的 CLI 使用不同的指令名稱與旗標。 使用以下映射更新腳本:
| Python CLI | Databricks 命令行介面 |
|---|---|
air run -f train.yaml |
databricks air run -f train.yaml |
air run -f train.yaml --override A=X B=Y |
databricks air run -f train.yaml --override A=X --override B=Y |
air get run <run-id> |
databricks air get <run-id> |
air list runs |
databricks air list --all-status |
air list runs --active |
databricks air list |
air -h config |
databricks air run -h config |
air logs <run-id> |
databricks air logs <run-id> |
air cancel <run-id> |
databricks air cancel <run-id> |