總結

在本單元中，你探索了在 Azure Databricks 中清理、轉換及載入 Unity 目錄 資料表的完整資料工程工作流程。 從初步資料剖析到最終載入作業，每種技術皆在前述基礎上持續發展，提供高品質且結構良好的資料，供分析使用。

你了解到利用 Unity Catalog 監控功能ANALYZE TABLE，如何揭示資料品質問題，例如空率百分比、重複紀錄和分布異常。 你探討了選擇 適當資料類型 如何影響儲存效率、查詢效能與資料完整性——特別是用於 DECIMAL 財務計算的重要性。 您練習使用 QUALIFY 等視窗函數、dropDuplicates() 和 fillna() 方法等技術來識別和解決重複值和 null 值。

在資料轉換時，你運用 了篩選、分組和聚合 操作來塑造分析需求所需的資料。 您使用聯結進行水平合併，並使用 UNION、INTERSECTbbb 和 EXCEPT 等集合運算子進行垂直組合，進而合併資料集。 你透過 去正規化 來提升查詢效能，利用 樞紐分析 進行跨表格分析，並用 反樞紐分析 來正規化廣泛資料集，重塑資料結構。

最後，你實施了符合資料情境的 載入策略 ： INSERT INTO 新增紀錄、 INSERT OVERWRITE 替換資料，以及 MERGE INTO 同步變更的 upsert 操作。 在建立資料管線時，請系統性地應用這些技術——先分析資料以了解資料，清理以解決品質問題，轉換以符合分析需求，並載入適當策略以維持湖屋的資料完整性。