Lakeflow 上的 Spark Declarative Pipelines 正在推出平台改進,將此管線現代化為環境版本,並發現啟用此功能可能會改變其行為。 此更新在寫入資料前已安全中止,下一次執行會自動重試並還原變更——無需你操作。 原因:
AUTO_CDC_FROM_SNAPSHOT
此管線使用 Auto CDC From Snapshot,但自動遷移到環境版本目前尚不支援此功能。 我們正積極推動 Auto CDC From Snapshot 的管線遷移支援。
EVENT_HOOK
此管線使用事件鉤子,但自動遷移至環境版本尚未支援此機制。
FINGERPRINT_MISMATCH
我們偵測到自動遷移到環境版本後,管線的查詢計畫或會話設定有變動。
FOREACH_BATCH
此管線使用 ForeachBatch sink,但自動遷移至環境版本尚未支援此功能。 我們正積極開發 ForeachBatch sink 對管線的遷移支援。
NO_PREVIOUS_FINGERPRINT
目前尚未找到足夠的基線數據來驗證此自動遷移對該管線是否安全。
需要全部重新整理
此更新並未刷新所有資料表,因此不符合自動遷移的資格。