Lakeflow 管線 2026 年發布說明

以下 Lakeflow 管線的功能、改進與錯誤修正於 2026 年發布。

2026 年 8 月

這些對 Lakeflow 管線的新功能與改進於 2026 年 8 月 13 日至 2026 年 9 月 8 日期間發布。

此發行版使用的 Databricks 執行環境版本

以下版本截至2026年9月8日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 18
• 預覽：Databricks Runtime 18

新功能和改善

• 你現在可以用新的CREATE TABLE ... FLOW（SQL）和create_table()@append_flow （Python）API 來建立由一個或多個附加流程（Beta）撰寫的非串流管理表格，讓多個來源能同時供應同一張表格。 此 import_checkpoint 選項將現有的結構化串流工作負載遷移到管線，無需重新處理。 參見 CREATE TABLE ......流（管線） 與 create_table。
• 管線現在可以在 foreachBatch 接收端內執行 SQL 多陳述式交易。 這使得串流管線中的交易式多語句批次邏輯成為可能。
• 串流資料表的欄位層 ALTER TABLE 級變更現在僅包含元資料（Beta），因此不再需要完整刷新、重設檢查點或重新擷取，且原始碼名稱重設或刪除也不再需要 schemaTrackingLocation。 這需要啟用外部元資料的 Unity 目錄。
• Classic Unity Catalog 管線中新建立的實體化視圖與串流資料表現在啟用了列追蹤功能，與無伺服器管線的行為相符。 這統一了經典與無伺服器管線間的列追蹤行為。
• Lakeflow pipelines 環境版本現在已在 Spark Connect（公開預覽）上支援 100% 的 Lakeflow pipelines API。 你可以手動採用，也可以透過自動遷移來採用，這包括行為變更偵測和執行失敗時的自動回滾。 請參閱 為管線設定環境版本。
• Lakeflow 管線事件日誌現已以 Unity 目錄系統資料表形式提供（ system.lakeflow_pipeline_events_preview.pipeline_events 測試版）。 你可以從單一資料表即時查詢同一區域內所有管線的事件，且即使管線被刪除後事件仍會被保留。 請參見 管線事件系統表格參考。
• Lakeflow pipelines 的管道圖現在會將上游來源呈現在 DAG 上作為節點，並提供 UI 切換按鈕以顯示或隱藏這些節點。 這讓追蹤管線資料來源變得更容易。
• 你現在可以直接從管線監控頁面，在標準模式下觸發選擇性完整刷新。 這樣你就能更精確地控制完整刷新的運作方式，而不必修改管線定義。

錯誤修正

此發布期間未包含重大錯誤修正。 所有變更都是新功能與改進。

2026 年 7 月

這些 Lakeflow 管線的功能與改進於 2026 年 7 月 7 日至 8 月 12 日期間發布。

此發行版使用的 Databricks 執行環境版本

以下版本截至2026年8月12日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 17.3
• 預覽：Databricks Runtime 18

新功能和改善

• 管線現在支援無版本模式，Azure Databricks 會自動管理 Databricks 執行時版本，而不是你釘選特定版本。 這樣可以讓管線維持在穩定的執行環境，無需手動升級版本。
• 目錄提交現已可在 公開預覽 中提供給所有工作區，用於串流資料表與實體化檢視。 你可以在多資料表、包含多個陳述式的交易中，對已啟用目錄提交的串流資料表執行資料操作（DML）。 請參閱 提交紀錄。
• 管線現在可以匯入現有的檢查點，簡化遷移與復原的流程。
• 持續管線現在與查詢歷史整合，提升長期持續更新所產生變更的可追溯性。
• 你現在可以設定同時進行的管線更新次數，讓你對管線並行性有更多控制。
• 新管線現在會自動預設為目前的發佈模式，簡化了管線的建立。
• 現在，獨立的實體化檢視和串流資料表會阻擋排程刷新，這些資料表會參考臨時檢視，以防止刷新失敗。

錯誤修正

此發布期間未包含重大錯誤修正。 所有變更都是新功能與改進。

2026 年 6 月

這些 Lakeflow 管道的功能與改進於 2026 年 6 月 10 日至 2026 年 7 月 7 日期間發布。

此發行版使用的 Databricks 執行環境版本

以下版本截至 2026 年 7 月 7 日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 17.3
• 預覽：Databricks Runtime 18

新功能和改善

• AUTO CDC 目標資料表現在支援液態叢集，你可以透過主鍵或透過擷取規格啟用。這能提升變更資料擷取目標的查詢效能，無需手動叢集維護。
• 你現在可以使用該 CONSTRAINT expectation_name EXPECT (expectation_expr) 條款，為獨立的實體化視圖新增資料品質期望。 這讓你能在沒有管線定義的情況下，對獨立的實體化視圖強制執行資料品質規則。
• REPLACE WHERE 流程現在支援增量刷新。 符合資格的流程只會重新計算變更的資料，而非重新處理完整輸入，從而降低刷新成本。
• 在經典運算上運行的管線現在支援環境版本，讓你能更好地掌控經典運算的相依性管理。

錯誤修正

• 修正了已提交的游標在閒置中的連接器恢復運作時可能卡住，進而導致資料擷取進度停滯的問題。

2026 年 5 月

這些對 Lakeflow 管線的新功能與改進於 2026 年 5 月 6 日至 2026 年 6 月 9 日期間釋出。

此發行版使用的 Databricks 執行環境版本

以下版本截至 2026 年 6 月 9 日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 17.3
• 預覽：Databricks 執行環境 18.1

新功能和改善

• AUTO CDC 現在支援雙時空追蹤，為每列同時維持系統時間（記錄儲存時間）與有效時間（記錄為真）。 這使得財務、審計及法規工作負載能提供即時正確性。
• 基於 Python 的管線現在會重用先前更新中的虛擬環境。 預熱集區 REPL 會預先載入已快取的環境，因此當環境在兩次更新之間維持不變時，便可略過安裝相依套件。 這會縮短啟動時間。
• 你現在可以直接在管線定義中宣告 Python 程式庫相依性，而不必在筆記本儲存格中使用 %pip install 呼叫。 相依關係會在更新開始時安裝於 Python 環境中。 請參見 管理管線 的 Python 相依關係。
• 使用自動液體聚類（CLUSTER BY AUTO）的管線現在會在將聚類欄位從實體化檢視架構中移除時自動丟棄。 過去，這需要手動全面刷新。
• 你現在可以使用 ALTER MATERIALIZED VIEW 或 ALTER STREAMING TABLE ... SET OWNER TO，將實體化檢視或串流資料表的擁有者變更為服務主體。 過去，所有權只能透過目錄瀏覽器變更。
• ALTER TABLE ... DROP FEATURE 現已支援實體化視圖與串流資料表。

錯誤修正

• 已解決一種競態條件：重複的 StartUpdate 呼叫可能觸發多個並行的管線更新。 冪等性標記現在會被驗證並儲存，以防止重複執行。

2026 年 4 月

這些對 Lakeflow 管線的新功能與改進於 2026 年 4 月 5 日至 2026 年 5 月 6 日期間發布。

此發行版使用的 Databricks 執行環境版本

以下版本截至2026年5月6日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 17.3
• 預覽：Databricks 執行環境 18.1

新功能和改善

• 獨立的實體化檢視與串流資料表（過去在 Databricks SQL 中稱為管線）現已在無伺服器運算（Beta）上提供，讓你無需配置專用管線叢集即可建立和管理這些物件。 這降低了獨立宣告式物件的營運開銷與成本。
• 管線和獨立串流資料表現已支援 REPLACE WHERE 流程（Beta 版）。 REPLACE WHERE 流程非常適合用於連接與聚合的增量批次處理。 請參見 使用 REPLACE WHERE 流程的批次處理。
• SCD Type 2 處理現在在讀寫操作中會省略版本映射中的空項，提升儲存效率與查詢效能，以應對緩慢變動的維度工作負載。

• Databricks SQL 編輯器現在包含專門的技能，用於建立具體化檢視，直接在編輯器中提供引導協助與語法協助。 這簡化了定義與配置具體化視圖的工作流程。
• Databricks SQL 編輯器現在包含 AUTO CDC 一項技能，協助你設定變更資料擷取（CDC）管線。 這降低了設定 CDC 管線的學習曲線。

錯誤修正

此發布期間未包含重大錯誤修正。 所有變更都是新功能與改進。

2026 年 3 月

這些 Lakeflow 管線的功能與改進於 2026 年 2 月 26 日至 3 月 31 日期間發布。

此發行版使用的 Databricks 執行環境版本

以下版本截至 2026 年 3 月 31 日為最新版本。

頻道：

• 目前（預設）：Databricks 執行環境 17.3.8
• 預覽：Databricks 執行環境 18.1.0

新功能和改善

• 無伺服器管線現在支援基於 CPU 的垂直自動擴展。 此功能會根據實際 CPU 利用率動態調整叢集資源，以提升工作負載穩定性。
• 現在你可以在刪除管線時保留 Unity 目錄資料表，即使管線移除後也能保留資料資產。 這讓你在管理管線生命週期時有更大的彈性，同時避免資料遺失的風險。
• 你現在可以使用新的流程語法建立串流資料表，這提供了更直接、宣告式的方式來定義串流資料管線。 這簡化了管線編寫，並與當前的資料工程模式相符。
• 管線現在會在資料表更新時保留列過濾器與欄遮罩設定，讓您的 Unity 目錄安全政策在管線更新期間保持完整。 這可防止結構演化過程中意外移除安全政策。
• 現在，CDC 套用變更時支援日期時間基準重定模式。 此功能能正確處理舊有與現代日曆系統之間的時間戳轉換。 防止在透過變更數據捕捉流程處理歷史日期時間資料時發生的不一致性。
• 你現在可以在串流管線的操作中使用 foreachBatch SQL 語句，使微批次處理邏輯更具彈性。 這消除了過去需要 Python 或 Scala 來自訂批次處理的限制。
• 管線現在支援匯流器註冊中的前向參考。 你可以在資料表宣告前，定義參考下游資料表的資料流。 這簡化了複雜的管線定義並消除排序限制。
• Append-once 類型的流程現在在試運行時會進行驗證，這樣可以在管道執行開始之前捕捉到設定錯誤。 這能提升開發體驗，能在流程撰寫流程中更早發現問題。

錯誤修正

此發布期間未包含重大錯誤修正。 所有變更都是新功能與改進。

2026年2月

這些 Lakeflow 管線的特色與改進於 2026 年 1 月 14 日至 2026 年 2 月 25 日期間發布。

此發行版使用的 Databricks 執行環境版本

以下版本截至 2026 年 2 月 25 日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 17.3
• 預覽：Databricks 執行環境 17.3

新功能和改善

• 管線現在支援 Delta 表格的類型擴展，允許欄位資料型別安全地擴展（例如，INT擴展至 LONG，FLOAT擴展至 DOUBLE），而無需進行管線的完全重置。 這使得過去需要人工介入的結構演化工作流程得以實現。
• 你現在可以使用 SCD Type 1 實體化 和 AUTO CDC， 提供更簡單的 CDC 模式，能在不維護完整變更歷史的情況下，插入或更新最新的值。 這在不需要完整歷史的使用情境中，降低了儲存開銷。
• 資料管線現在在重試因更新失敗的流程時會重用現有的叢集，藉由消除因啟動叢集所產生的冗餘時間，降低重試延遲並降低計算成本。
• 預測優化功能啟用現在會在已更新的實體化檢視和串流表上正確顯示，但前提是它們在過去一個月內有更新過。
• 管線現已能同時驗證多個流程，在執行開始前的模擬階段中，捕捉各流程之間的配置衝突和依賴性問題。
• 在擷取流程更新時，可更改的元資料會被保留，使得在擷取串流資料表上完整支援「ALTER」指令。
• 管線中的 Python 錯誤現在帶有 SQL 狀態碼，改善錯誤診斷，並使下游工具能更好地處理程式錯誤。
• 管線現已支援經典運算的 ARM 實例。

錯誤修正

• 附錄式串流表中的身份欄位值現在會在第一次更新執行時正確產生。

2026 年 1 月

這些對 Lakeflow 管道的功能和改進是在 2025 年 11 月 14 日至 2026 年 1 月 13 日期間發布的。

此發行版使用的 Databricks 執行環境版本

以下版本截至2026年1月13日為最新版本。

頻道：

• 目前（預設）：Databricks Runtime 17.3
• 預覽：Databricks 執行環境 17.3

新功能和改善

• 你現在可以直接在 Unity 目錄資料表中儲存和管理資料品質期望，透過資料治理框架集中管理資料品質規則。 這使得可跨多個管線共享的版本控制、可稽核品質規則成為可能。

• 連續執行超過 7 天的管線現在可以優雅地重啟，停機時間最小，並明確說明更新原因（INFRASTRUCTURE_MAINTENANCE），而不是在底層計算需要刷新時突然重啟。

• 管線現在支援排隊執行模式，該模式會自動排隊並依序執行多個更新請求，而非因衝突而失敗。 這簡化了需要頻繁更新觸發的管線作業，並免除了手動協調重試的需求。

• 你現在可以從單一變更資料來源實現多個 SCD Type 2 視圖，提升建立同一資料多重歷史視圖的效率。 這消除了對每個 SCD Type 2 輸出重新處理來源資料的需求。

• 管線排程與設定現在可從 Unity 目錄的資料表屬性儲存與讀取，透過資料治理實現集中管理設定。 這讓你能在資料定義的同時管理管線行為。

• MANAGE 權限現在會自動傳播到 Unity 目錄中的實體化檢視與串流資料表，簡化了管線輸出的權限管理。 這確保了存取控制的一致性，無需手動授權。

• SCD Type 2 操作現在會自動合併具有相同自然鍵的重複記錄，確保資料一致性，並防止緩慢變動的維度表出現重複的歷史紀錄。

• 管線現在有選項自動丟棄不再屬於管線定義的非活躍資料表。 這有助於維持資料倉儲的乾淨，並降低因過時資料表產生的儲存成本。 請參閱 使用 Unity 目錄搭配管線。

• 管線定義、修補操作及執行身分變更現已包含在稽核日誌中，提供完整追蹤配置變更，以便進行合規與安全監控。 請參閱 管線事件記錄檔。

錯誤修正

此發布期間未包含重大錯誤修正。 所有變更都是新功能與改進。