管理持續性管線的更新

持續的管線不停運作,因此 Azure Databricks 不能等到管線結束後才套用平台更新,例如新的執行時版本或基礎架構維護。 要套用這些更新,Azure Databricks 會重新啟動管線。 維護視窗讓你能控制重新啟動的時間:你選擇一週中的某一天、開始時間和時區,Azure Databricks 只會在該時間內啟動維護。

維護視窗是運行管線的連續作業上的一個設定。 如果你沒有設置,維護工作隨時可能進行。

Azure Databricks 如何套用更新

若要更新持續管線,Azure Databricks 會在新的叢集上啟動新的管線更新,並關閉先前的叢集。 由於連續管線會在串流檢查點中追蹤其進度,因此新的更新會從前一次更新停止的地方繼續。 資料處理在交換過程中會短暫暫停,然後繼續且不會遺失資料。

Azure Databricks 只會在你所選日期中,從指定開始時間起算的一小時時段內開始維護。 重新啟動本身通常很短。

選擇一個適合你工作量的短暫重啟日子和上班時間。

包含哪些更新?

連續管線的維護可以包括:

  • Databricks 執行時版本升級
  • 安全修補與更新
  • 作業系統更新
  • Lakeflow 上的 Spark 宣告式管線功能與增強
  • 無伺服器基礎設施維護,例如定期回收長期運行的無伺服器叢集

執行時升級(服務升級)和無伺服器基礎架構維護都會尊重你設定的維護時段。

Important

無伺服器叢集有最大壽命。 如果在下一次維護時段前達到該限制,Azure Databricks 會重新啟動管線以維持在限制範圍內,即使目前時間已超出你的時間範圍。 這確保了長期運行的管線最終會被回收利用。

更新通常多久套用一次?

Azure Databricks 只有在需要維護時才會套用更新。 新的執行時版本會定期發布,且無伺服器基礎設施維護會定期進行。 單一管線重啟的頻率取決於:

  • 適用於您的管線的新 Databricks 執行階段版本發行頻率
  • 對於無伺服器管線,無伺服器叢集回收排程
  • 你的維修時段發生頻率

當維護時段到來時,如果沒有待處理的更新,該時段會在不重新啟動的情況下結束。

設定維護視窗

你可以在 Azure Databricks 介面中設定維護視窗、使用 Jobs REST API 設定維護視窗,或使用 Declarative Automation Bundles 設定維護視窗。

維護窗口包含三個必需部分:

Setting 說明
一週中的某一天 只有一天,從星期一到星期天。
開始時間 視窗開始的小時,以 24 小時制表示,為從 0 到 23 的整數。
時區 一個 Java 時區 ID,例如 America/New_York。 Azure Databricks 會評估此時區的視窗。

Note

維護視窗僅適用於連續工作與管線。 此設定不適用於依照排程或不同觸發類型執行的工作。

在介面中設定維護視窗

你可以從工作介面或管線介面設定維護視窗。

來自職缺介面

  1. 在你的 Azure Databricks 工作區側邊欄,點選工作流程圖示。職缺與管線。
  2. 點擊職缺名稱。
  3. 在 工作詳情 面板中,開啟 連續 觸發器並展開 進階 以尋找 維護視窗。
  4. 選擇一週中的星期幾、一個開始時間和一個時區。
  5. 點選 [儲存]。

來自 Pipelines 介面

  1. 在你的 Azure Databricks 工作區側邊欄,點選工作流程圖示。職缺與管線。
  2. 點擊管線名稱。
  3. 打開 排程 並展開 「進階設定 」以找到 維護視窗。
  4. 選擇一週中的星期幾、一個開始時間和一個時區。
  5. 點選 [儲存]。

使用 Jobs API 設定維護視窗

使用 maintenance_window 建立或更新作業時,請在 continuous 設定中設定 欄位。 以下範例將維護設定為週二凌晨2點(東部時間)開始:

{
  "continuous": {
    "pause_status": "UNPAUSED",
    "maintenance_window": {
      "start_hour": 2,
      "day_of_week": "TUESDAY",
      "timezone_id": "America/New_York"
    }
  }
}

設定維護視窗時,這三個欄位start_hour(、 day_of_week、 timezone_id和 )都是必填的。 start_hour 必須是從 0 到 23的整數。

使用宣告式自動化套件配置維護視窗

在工作的continuous映射內設定maintenance_window映射。 此 maintenance_window 映射需要 Databricks CLI 版本 1.16.0 或以上。 要讓舊版本的驗證失敗,請設 bundle.databricks_cli_version 為 '>= 1.16.0'。 以下範例將維護設定為週二凌晨2點(東部時間)開始:

bundle:
  name: continuous_pipeline_bundle
  databricks_cli_version: '>= 1.16.0'

resources:
  jobs:
    continuous_pipeline_job:
      name: continuous_pipeline_job
      continuous:
        pause_status: UNPAUSED
        maintenance_window:
          start_hour: 2
          day_of_week: TUESDAY
          timezone_id: America/New_York
      tasks:
        - task_key: refresh_pipeline
          pipeline_task:
            pipeline_id: ${resources.pipelines.example_pipeline.id}

設定維護通知

Azure Databricks 可以通知你維護重新啟動開始和結束的時間。 維護通知使用標準的 Lakeflow Jobs 通知系統,因此您可以將通知送達電子郵件地址或系統目的位置,如 Slack、PagerDuty 或 Microsoft Teams。 請參閱 在作業上新增通知。

連續作業提供兩個可用事件:

  • 維護啟動:當維護重新啟動開始時發送。 包含工作內容、原因(例如服務升級)及開始時間。
  • 維護完成:重新啟動完成後發送。 包含原因、完成時間、重啟時間,以及重啟後管線的狀態。

夏令時間轉換

Azure Databricks 會根據你設定的時區來判定維護時段,因此該維護時段會隨該時區的日光節約時間變化而調整。 大多數日子,時段會從你設定的當地時間開始。 在時鐘變動當天,起跑時間可延遲多達一小時。 請選擇與您營運時間表相符的時區。

處理更新期間的中斷問題

維護重新啟動時,資料處理會暫停,直到新版更新接手運作。 串流來源在暫停期間持續累積資料,新的更新會從管線檢查點恢復,因此不會遺失資料。

如果您的管線有嚴格的延遲要求,請選擇在短暫暫停可接受的期間內的維護時段。 為了確認管線在重新啟動後恢復健康狀態,請監控 維護完成 通知。