簡介

資料工程師面臨一項根本挑戰：如何有效且可靠地將來自多元來源的資料整合到統一的分析平台。 無論您的組織是處理雲端儲存中的批次檔案、Kafka 的串流事件，或是營運資料庫的交易資料，都需要能夠處理每種情境，同時維持資料品質與治理的匯入方法。 Azure Databricks 中的 Unity 目錄為這種統一方法奠定基礎，提供集中治理管理所有所接收資料。

Azure Databricks 提供多種擷取技術，每種技術都針對特定資料模式與需求進行優化。 Lakeflow Connect 提供管理式連接器，支援常見企業來源如 SQL Server 和 Salesforce，免除自訂擷取程式碼的需求。 筆記本 讓您能完全掌控使用 Python、SQL 或 Scala 的資料導入邏輯。 SQL 指令 類似 COPY INTO 且 CREATE TABLE AS SELECT 提供宣告式的檔案擷取方法。 對於即時工作負載，Spark 結構化串流與自動載入會持續處理資料，並保證精確一次處理。

了解何時應用每種技術，能讓你建立穩健且能隨組織擴展的數據管線。 你將學習如何為企業資料來源設定受控連接器、撰寫自訂資料擷取場景的筆記本程式碼、使用 SQL 指令進行檔案批次載入、增量處理變更資料擷取串流、從 Kafka 和 Event Hubs 等訊息匯流排串流資料、設定自動檔案偵測的自動載入器，以及使用 Lakeflow 管線協調匯入工作流程。

完成本模組後，你將具備選擇並實作任何資料來源的正確匯入方法，確保資料能以妥善治理與最佳效能進入 Unity 目錄資料表。