清理、轉換並載入資料到 Unity 目錄
中級
資料工程師
Azure Databricks
資料工程需要將原始資料轉換成乾淨且結構良好的格式，供分析使用。 本模組探索分析資料品質、選取合適的欄類型、解決重複值和 null、套用篩選和聚合轉換、使用聯結和集合運算子合併資料集、透過樞紐和反正規化重塑資料，以及使用附加、覆寫和合併策略載入轉換後的資料等技術。
學習目標
在本模組結束時，您將能夠：
- 使用 SQL 指令和資料剖析功能對資料進行剖析，以評估資料品質
- 選擇適當的欄位資料類型以優化儲存並確保資料完整性
- 識別並解決資料集中的重複、缺失及空值
- 應用過濾、分組與聚合操作來轉換資料
- 使用連接與集合運算子如 UNION、INTERSECT 和 EXCEPT 來合併資料集
- 使用反正規化、樞軸與取消樞紐技術重塑資料
- 透過 INSERT、MERGE 及覆寫操作，將轉換後的資料載入 Unity 目錄資料表
必要條件
以下先決條件應完成：
- Azure Databricks 與 Unity 目錄概念的基本理解
- 熟悉 SQL 與 Python 程式設計
- 了解資料工程概念，如資料品質與轉換