宣告式自動化套件最初是建立在 Databricks Terraform 供應商 之上,用以管理部署。 然而,Databricks CLI 0.279.0 及以上版本支援兩種不同的部署引擎: terraform 與 direct。 直接部署引擎帶來顯著優勢,且不依賴 Terraform。
使用Databricks CLI 1.3.0及以上版本建立的新套件預設使用直接部署引擎。 仍使用 Terraform 部署引擎的套件會自動遷移到直接引擎,因此無需設定。 請參見 「開始使用直接部署」。
為防止自動遷移,請設定 bundle.engine: terraform 或 DATABRICKS_BUNDLE_ENGINE=terraform。 這會防止所有 Databricks CLI 版本的自動遷移。 在 Databricks 的 CLI 版本中,直到 1.19 版本,仍繼續使用 Terraform 引擎。 在 Databricks CLI 版本 1.20.0 及以上,會發生錯誤。 請參見 「直接部署新套件」。
這很重要
在 Databricks CLI 1.20.0 版本中,Terraform 部署引擎被移除。 Databricks CLI 仍可將 Terraform 狀態的套件自動遷移至直接引擎,但若自動遷移失敗,部署將中止。 若要繼續使用 Terraform 部署引擎,請將 Databricks CLI 固定為 1.19 版本。 請參見 Terraform 部署引擎已移除。
直接部署的優勢
新的直接部署引擎使用 Databricks Go SDK ,並具備以下優點:
- 部署速度更快:套件部署速度可快 40%。
-
更強大且詳盡的驗證與規劃:利用
bundle plan -o json每個欄位的報告細節,詳細描述觸發特定動作的差異。 -
可重播計畫:
bundle deploy --plan plan.json執行先前建立的計畫,確保只有核准的行動能進入生產環境,且部署速度更快,因為計畫計算被跳過。 - 簡單設定:避免防火牆、代理伺服器及自訂提供者登錄的問題。
- 更多資源:支援額外資源,如目錄、外部位置、AI 搜尋端點及 Genie 代理。
- 不可變資料夾:資產可選擇部署至不可變且唯讀的資料夾,以加強竄改保護與部署一致性。 請參閱 不可變部署。
開始使用直接部署
對於使用 Databricks CLI 1.3.0 及以上版本建立的新套件,直接部署引擎是預設值。 在 Databricks CLI 1.14 版本及以上版本中,使用 Terraform 引擎的套件會在部署時自動遷移到直接引擎。
在 Databricks CLI 1.8 及以上版本中,你可以透過設定 engine: direct 將套件遷移到 direct engine。 請參見 「直接部署新套件」。
直接部署一個新套件
要明確設定直接部署引擎,請執行以下任一操作:
請在你的 databricks.yml 中設定
bundle.engine:bundle: engine: direct設定環境
DATABRICKS_BUNDLE_ENGINE變數並部署:DATABRICKS_BUNDLE_ENGINE=direct databricks bundle deploy -t my_target
如果設定與環境變數同時設定,則設定優先。
部署引擎比較
新的直接部署引擎大致上與 Terraform 部署引擎相同,但仍有一些差異。
資源狀態差異計算
與維持單一資源狀態(本地組態與遠端狀態混合)的 Terraform 不同,新引擎將這些設定分開,僅在其狀態檔案中記錄本地組態。
資源狀態差異的計算分為兩個步驟:
- 本地套件組態會與最近部署時使用的快照組態做比較。 遠端國家不扮演任何角色。
- 遠端狀態會與最近一次部署所使用的快照配置進行比較。
結果是:
-
databricks.yml資源變更絕不會被忽略,且會觸發更新。 - 未由實作處理的資源欄位不會觸發不一致的結果錯誤。 這些資源由直接引擎成功部署,但結果可能導致偏移。 已部署的資源會在下一次計畫或部署時更新。
移除設定設定
這兩個引擎對你從組合包設定中移除的設定處理方式不同:
- 使用 Terraform 引擎,移除設定
databricks.yml欄位後,平台上對應的值不會改變。 Terraform 只管理配置中明確存在的欄位,因此移除的欄位會保留上次部署時的值。 - 直接引擎中,移除一個欄位
databricks.yml會讓該值回復到資源的預設值。 因為 Direct Engine 會將你的本地組態與先前快照比較,因此不再存在的欄位會被視為變更,資源會在下一次部署時更新為預設值。
要持久化一個值,請在你的設定中明確設定它,而不是依賴先前部署的值。
資源替換查詢
資源替換可用於解析資源識別碼,例如。 ${resources.jobs.my_job.id} 參見 替換。 直接部署引擎中資源替換的解決分為兩個步驟:
- 指向本地設定中欄位的引用會解析為本地設定中提供的值。
- 本地配置中不存在的引用將從遠端狀態中解決。 這是利用適當
GET請求取得給定資源的狀態。
用來解析 ${resource.*} 替換的結構存在於 refschema/output 的每個資源檔案中。 標記為 和 ALLSTATE 的欄位可用於局部解析。 標示為 ALL 或 REMOTE 的欄位可用於遠端解析。
資源相容性
以下資源需要直接部署引擎,且不支援 Terraform 部署引擎:
- 群集政策
- Unity Catalog 目錄
- Unity Catalog 外部位置
- Unity Catalog Secrets
- Feature Views
- FeatureSpecs
- Genie Agents
- 實例池
- 作業執行
- 實體化集合
- AI 搜尋端點
- MCP服務
- 模型提供者服務
- 模型服務
- Postgres 快照排程
此外,該 lifecycle.started 欄位僅在直接部署引擎中可用,且僅適用於 apps、 clusters、 sql_warehouses和 。 當設定為 true時,資源會以啟動模式部署。 請參閱 生命週期。