遷移至直接部署引擎

宣告式自動化套件最初是建立在 Databricks Terraform 供應商 之上,用以管理部署。 然而,Databricks CLI 0.279.0 及以上版本支援兩種不同的部署引擎: terraform 與 direct。 直接部署引擎帶來顯著優勢,且不依賴 Terraform。

使用Databricks CLI 1.3.0及以上版本建立的新套件預設使用直接部署引擎。 仍使用 Terraform 部署引擎的套件會自動遷移到直接引擎,因此無需設定。 請參見 「開始使用直接部署」。

為防止自動遷移,請設定 bundle.engine: terraform 或 DATABRICKS_BUNDLE_ENGINE=terraform。 這會防止所有 Databricks CLI 版本的自動遷移。 在 Databricks 的 CLI 版本中,直到 1.19 版本,仍繼續使用 Terraform 引擎。 在 Databricks CLI 版本 1.20.0 及以上,會發生錯誤。 請參見 「直接部署新套件」。

這很重要

在 Databricks CLI 1.20.0 版本中,Terraform 部署引擎被移除。 Databricks CLI 仍可將 Terraform 狀態的套件自動遷移至直接引擎,但若自動遷移失敗,部署將中止。 若要繼續使用 Terraform 部署引擎,請將 Databricks CLI 固定為 1.19 版本。 請參見 Terraform 部署引擎已移除。

直接部署的優勢

新的直接部署引擎使用 Databricks Go SDK ,並具備以下優點:

  • 部署速度更快:套件部署速度可快 40%。
  • 更強大且詳盡的驗證與規劃:利用 bundle plan -o json 每個欄位的報告細節,詳細描述觸發特定動作的差異。
  • 可重播計畫: bundle deploy --plan plan.json 執行先前建立的計畫,確保只有核准的行動能進入生產環境,且部署速度更快,因為計畫計算被跳過。
  • 簡單設定:避免防火牆、代理伺服器及自訂提供者登錄的問題。
  • 更多資源:支援額外資源,如目錄、外部位置、AI 搜尋端點及 Genie 代理。
  • 不可變資料夾:資產可選擇部署至不可變且唯讀的資料夾,以加強竄改保護與部署一致性。 請參閱 不可變部署。

開始使用直接部署

對於使用 Databricks CLI 1.3.0 及以上版本建立的新套件,直接部署引擎是預設值。 在 Databricks CLI 1.14 版本及以上版本中,使用 Terraform 引擎的套件會在部署時自動遷移到直接引擎。

在 Databricks CLI 1.8 及以上版本中,你可以透過設定 engine: direct 將套件遷移到 direct engine。 請參見 「直接部署新套件」。

直接部署一個新套件

要明確設定直接部署引擎,請執行以下任一操作:

  • 請在你的 databricks.yml 中設定bundle.engine:

    bundle:
      engine: direct
    
  • 設定環境 DATABRICKS_BUNDLE_ENGINE 變數並部署:

    DATABRICKS_BUNDLE_ENGINE=direct databricks bundle deploy -t my_target
    

如果設定與環境變數同時設定,則設定優先。

部署引擎比較

新的直接部署引擎大致上與 Terraform 部署引擎相同,但仍有一些差異。

資源狀態差異計算

與維持單一資源狀態(本地組態與遠端狀態混合)的 Terraform 不同,新引擎將這些設定分開,僅在其狀態檔案中記錄本地組態。

資源狀態差異的計算分為兩個步驟:

  1. 本地套件組態會與最近部署時使用的快照組態做比較。 遠端國家不扮演任何角色。
  2. 遠端狀態會與最近一次部署所使用的快照配置進行比較。

結果是:

  • databricks.yml 資源變更絕不會被忽略,且會觸發更新。
  • 未由實作處理的資源欄位不會觸發不一致的結果錯誤。 這些資源由直接引擎成功部署,但結果可能導致偏移。 已部署的資源會在下一次計畫或部署時更新。

移除設定設定

這兩個引擎對你從組合包設定中移除的設定處理方式不同:

  • 使用 Terraform 引擎,移除設定 databricks.yml 欄位後,平台上對應的值不會改變。 Terraform 只管理配置中明確存在的欄位,因此移除的欄位會保留上次部署時的值。
  • 直接引擎中,移除一個欄位 databricks.yml 會讓該值回復到資源的預設值。 因為 Direct Engine 會將你的本地組態與先前快照比較,因此不再存在的欄位會被視為變更,資源會在下一次部署時更新為預設值。

要持久化一個值,請在你的設定中明確設定它,而不是依賴先前部署的值。

資源替換查詢

資源替換可用於解析資源識別碼,例如。 ${resources.jobs.my_job.id} 參見 替換。 直接部署引擎中資源替換的解決分為兩個步驟:

  1. 指向本地設定中欄位的引用會解析為本地設定中提供的值。
  2. 本地配置中不存在的引用將從遠端狀態中解決。 這是利用適當 GET 請求取得給定資源的狀態。

用來解析 ${resource.*} 替換的結構存在於 refschema/output 的每個資源檔案中。 標記為 和 ALLSTATE 的欄位可用於局部解析。 標示為 ALL 或 REMOTE 的欄位可用於遠端解析。

資源相容性

以下資源需要直接部署引擎,且不支援 Terraform 部署引擎:

此外,該 lifecycle.started 欄位僅在直接部署引擎中可用,且僅適用於 apps、 clusters、 sql_warehouses和 。 當設定為 true時,資源會以啟動模式部署。 請參閱 生命週期。