簡介

已完成

資料品質 問題可能破壞分析專案、損壞商業報告,並侵蝕對資料平台的信心。 當無效資料進入你的資料表——無論是類型不符、缺少所需值,或是突發的結構變更——隨著資料流經管線並傳到下游消費者,問題就會越來越嚴重。 在擷取時實施強健的資料 品質約束 ,能為您的資料資產建立信任基礎。

Azure Databricks 提供多種機制來在 Unity 目錄中強制執行資料品質。 模式強制在將資料寫入 Delta Lake 資料表時會自動驗證資料類型。 資料表約束定義 了在寫入時拒絕無效紀錄的規則。 管線預期條件在 Lakeflow 管線中可對串流資料進行即時品質檢查,並針對違規採取可設定的動作。 這些能力共同構成了維護資料完整性的全面方法。

在本單元中,您將探索實作資料品質約束的實務技巧。 你會學習如何利用 結構驗證、 明確鑄造和 CHECK 約束來強制執行資料型別檢查。 當來源系統隨時間演進時,你會發現管理 結構漂移 的策略。 你實作了對空可性、唯一性和值範圍的驗證檢查。 最後,你掌握管線期望,監控資料品質指標,並在違規發生時自動採取行動。

結合這些方法,您可以建立能及早發現品質問題的管線,防止無效資料進入生產表,並提供資料健康狀態的可見性。 這些技能對於使用 Unity 目錄的資料工程師來說至關重要,因為他們需要在組織的資料資產中維持高標準。

Note

我們認識到不同的人喜歡以不同的方式學習。 您可以選擇以基於視頻的格式完成此模塊,也可以將內容作為文本和圖像閱讀。 文字包含的細節比影片更多,因此在某些情況下,您可能希望將其作為影片簡報的補充資料。