簡介

建立可靠的資料管線不僅僅是將資料來源連接到目的地。 你需要設計能夠優雅地處理故障、隨著資料量增加擴展，並隨著業務需求演變保持可維護性的工作流程。 Azure Databricks 提供多種建立資料管線的方法——從具備程序化程式碼的彈性筆記本，到自動化協調與資料品質強制執行的 Lakeflow 管線。

當你設計資料管線時，你會做出影響所有下游使用者的決策。 操作順序決定轉換是否建立在經過驗證且結構良好的資料之上。 你在筆記本和宣告式管線之間的選擇，會影響你寫多少編排程式碼，以及平台能幫你管理多少。 Lakeflow Jobs 中的任務相依性控制執行流程，並啟用平行處理，從而縮短管線執行時間。

錯誤處理 能將生產準備管線與脆弱的原型區分開來。 若錯誤處理不當，無效紀錄會破壞下游分析，未被察覺的故障累積技術債務，問題往往在發生數小時甚至數天後才浮現。 Azure Databricks 提供內建的資料 品質期望機制、 重試政策及 條件式任務流程 ，幫助您建立具韌性的資料工作流程。

本模組將引導您設計並實作 Azure Databricks 中的資料管線。 你將學習如何結構化管線操作、選擇適合你使用情境的方法、在 Lakeflow Jobs 中配置任務邏輯，以及實作錯誤處理策略。 您也可以使用基於筆記本和宣告式方法來建立管線，進而獲得使用驅動生產資料平台的工具的實際操作經驗。