透過載入與轉換資料、套用資料品質檢查,以及將結果寫入目標資料表來建立 Lakeflow 管線。 以下主題涵蓋建造與運行管線所需的任務。
若想了解管線背後的宣告概念(資料集、流程與管線圖),請參閱 管線概念。 欲了解逐步教學,請參考 教學:使用變更資料擷取建立 ETL 管線。
| Topic | 說明 |
|---|---|
| 在 Lakeflow 管線編輯器中開發 | 在編輯器中撰寫、執行及除錯管線,包含管線圖、資料預覽及選擇性執行。 |
| 使用 Genie Code 進行管線開發 | 在編輯器中使用 Genie Code 從單一提示產生、編輯及除錯管線程式碼。 |
| 管理身份與權限 | 控制執行管線的身份,以及誰能建立、執行、刷新和查看管線及其輸出。 |
| 載入資料 | 將來自雲端物件儲存和串流訊息匯流排的資料匯入你的管線。 |
| 轉換資料 | 應用轉換、連接與聚合來建立衍生資料集。 |
| 串流資料表的完整重新整理 | 重新處理所有原始資料,重建串流資料表。 |
| 資料品質 | 以預期驗證紀錄,並控制紀錄失效時的處理方式。 |
| 撰寫資料集 | 將管線結果寫入像 Apache Kafka 和 Azure 事件中樞 這類匯入庫,並利用流程寫入串流目標。 |