用 Azure Databricks 準備與處理資料
速覽
-
層級
-
技能
-
Products
-
角色
-
主旨
掌握使用 Azure Databricks 與 Unity Catalog 建立穩健且可擴展資料工程解決方案的關鍵技能。 學習設計有效的資料模型、從多元來源匯入資料、將原始資料轉換為分析格式，並確保整個湖屋架構的資料品質。
在這條學習路徑中，你將學習如何使用 Azure Databricks 和 Unity Catalog 建立資料工程工作流程。 從基礎資料建模概念開始，你將設計針對分析工作負載優化的結構與分割策略。 接著，您將探索多種擷取模式：從受控連接器到串流管線，將資料帶入您的資料湖倉。 接著，你將應用轉換技術來清理並重塑用於商業用途的資料。 最後，您將實施品質控管，以維持整個管線中的資料完整性。 到最後，你將具備在 Unity Catalog 中架構並建置生產環境資料解決方案的實務技能。
必要條件
- 對 Azure Databricks 工作區和 Unity Catalog 概念有很好的理解
- 熟悉 SQL 與 Python 程式設計
- 基礎資料工程與資料倉儲概念的知識
成就代碼
您要請求成就代碼嗎？
此學習路徑中的課程模組
有效的資料建模是效能良好且易於維護的資料平台基礎。 本模組將探討如何設計擷取邏輯、選擇適當的工具與資料表格式、實作分割方案、管理緩慢變動的維度、選擇合適的資料粒度，以及透過 Azure Databricks 與 Unity Catalog 中的叢集策略優化資料表效能。
資料擷取是任何資料平台的基本功能。 本模組探討 Azure Databricks 中用於將資料載入 Unity 目錄資料表的完整技術。 你將學習如何使用 Lakeflow Connect 的管理連接器、在筆記本中撰寫自訂擷取程式碼、套用 SQL 指令進行批次檔案載入、處理變更資料擷取資料饋送、設定訊息匯流排的串流擷取、設定 Auto Loader 以進行自動檔案偵測，以及使用 Lakeflow 管線協調擷取工作流程。
資料工程需要將原始資料轉換成乾淨且結構良好的格式，供分析使用。 本模組探討資料品質分析、選擇適當欄位類型、解決重複與空值、應用過濾與彙總轉換、結合連結與集合運算子的資料集、透過樞軸化與非正規化重塑資料，以及使用附加、覆寫與合併策略載入轉換後資料的技術。
本模組探討維持 Azure Databricks 高資料品質的策略。 你將學習如何實作驗證檢查、執行結構、管理結構漂移，以及利用管線預期確保整個資料管線的資料完整性。