Lakeflow 上的 Spark 宣告式管線 2025.30 版

2025 年 7 月 23 日至 30 日

這些功能與改進已隨 Lakeflow 上的 Spark 宣告式管線 2025.30 版本一同推出。

此版本所使用的 Databricks Runtime 版本

通道：

  • 目前 （預設）：Databricks Runtime 16.1
  • 預覽：Databricks Runtime 16.4

備註

由於 Lakeflow 中 Spark 宣告式管線的頻道版本發行遵循滾動升級程序，因此頻道升級會於不同時間部署到不同區域。 您的版本 （包括 Databricks Runtime 版本） 可能要到初始發行日期後一週或更長時間才會更新。 若要尋找管線的 Databricks Runtime 版本，請參閱 執行階段資訊。

新功能和改善

  • 我們在 Lakeflow 的 Spark 宣告式管線中為 AUTO CDC API 新增了以下功能。

    • 每個目標可有多個流程：指令 create_auto_cdc_flow 現在支援參數 name，允許多個獨立 AUTO CDC 流程寫入同一個目的資料表。 這可啟用將增量更新和更正串流套用至單一資料表等案例。

    • 一次性回填：新增 once 參數支援一次性回填操作（例如初始資料填充）。 當 once = true，流程會一次性擷取資料快照，並忽略未來的檔案到達。

    • SQL 支援：新的 CREATE FLOW SQL 語法允許你直接在 SQL 中使用 AUTO CDC INTO，並對 name 和 once 提供相同的支援。

  • Lakeflow Editor 現在支援由使用者活動觸發的隨需連線至叢集及維持叢集存活功能。

  • 上次更新時間：