建置管線

透過載入與轉換資料、套用資料品質檢查,以及將結果寫入目標資料表來建立 Lakeflow 管線。 以下主題涵蓋建造與運行管線所需的任務。

若想了解管線背後的宣告概念(資料集、流程與管線圖),請參閱 管線概念。 欲了解逐步教學,請參考 教學:使用變更資料擷取建立 ETL 管線。

Topic 說明
在 Lakeflow 管線編輯器中開發 在編輯器中撰寫、執行及除錯管線,包含管線圖、資料預覽及選擇性執行。
使用 Genie Code 進行管線開發 在編輯器中使用 Genie Code 從單一提示產生、編輯及除錯管線程式碼。
管理身份與權限 控制執行管線的身份,以及誰能建立、執行、刷新和查看管線及其輸出。
載入資料 將來自雲端物件儲存和串流訊息匯流排的資料匯入你的管線。
轉換資料 應用轉換、連接與聚合來建立衍生資料集。
串流資料表的完整重新整理 重新處理所有原始資料,重建串流資料表。
資料品質 以預期驗證紀錄,並控制紀錄失效時的處理方式。
撰寫資料集 將管線結果寫入像 Apache Kafka 和 Azure 事件中樞 這類匯入庫,並利用流程寫入串流目標。

其他資源