Microsoft Purview 整合式目錄中的資料品質概觀

Microsoft Purview 整合式目錄中的資料品質可讓治理網域和資料擁有者評估及監督其資料生態系統的品質，協助採取有針對性的改善動作。 在當今 AI 驅動的環境中，數據的可靠性直接影響 AI 驅動的深入解析和建議的準確性。 如果沒有可信賴的數據，就有可能削弱對人工智慧系統的信任並阻礙其採用。

資料品質差或資料結構不相容可能會阻礙業務流程和決策能力。 整合式目錄 中的資料品質可讓使用者使用無程式碼或低程式碼規則 （包括現成可用的 (OOB) 規則和 AI 產生的規則） 來評估資料品質，從而解決這些挑戰。 這些規則會在資料行層級套用並彙總，以提供資料資產、資料產品和治理網域層級的分數，確保每個網域內資料品質的端對端可見性。

Microsoft Purview 中的資料品質也整合了 AI 支援的資料分析功能，建議要分析的欄，同時允許人工介入來精簡這些建議。 這種迭代過程不僅提高了數據分析的準確性，還有助於底層人工智慧模型的持續改進。

透過應用數據質量，組織可以有效地衡量、監控和提高其數據資產的質量，增強人工智慧驅動的見解的可靠性並增強對基於人工智慧的決策過程的信心。

資料品質生命週期

  1. 在 整合式目錄 中指派 () 資料品質管理員權限給使用者，以使用所有資料品質功能。
  2. 註冊並掃描 Microsoft Purview 資料對應中的資料來源。
  3. 將您的資料資產新增至資料產品
  4. 設定資料來源連線，以準備資料來源以進行資料品質評估。
  5. 為資料來源中的資產設定並執行資料分析。
    1. 分析完成後，請瀏覽資料資產中每一欄的結果，以瞭解資料的現行結構和狀態。
  6. 根據分析結果設定資料品質規則，並將其套用至您的資料資產。
  7. 在資料產品上設定並執行資料品質掃描，以評估資料產品中所有支援資產的品質。
  8. 檢閱掃描結果 ，以評估資料產品的目前資料品質。
  9. 在資料資產的生命週期中定期重複步驟 5-8，以確保其維持品質。
  10. 持續監控您的資料品質
    1. 檢閱資料品質動作 以找出並解決問題。
    2. 設定資料品質通知 以提醒您品質問題。

支援的資料品質區域

下列地區目前支援資料品質。

重要事項

只有當帳戶和資料來源位於 Purview 支援的區域時，才支援資料品質功能。 資料來源和權限帳戶必須位於相同的 Azure 區域。 並行 DQ 作業執行限制為：

  • 手動掃描：最多 10 個並行工作。
  • 排定的掃描：最多 25 個並行工作。
  • 手動設定檔：最多 10 個並行分析工作。
  • DQ 規則建議：最多 10 個並行工作。

支援的多雲端資料來源

檢視 支援的資料來源清單。

重要事項

Parquet 檔案的資料品質旨在支援：

  1. 含有 Parquet 組件檔案的目錄。 例如：./Sales/{Parquet Part Files}。 完整名稱必須遵循 https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}。 請確定目錄和子目錄結構不包含 {n} 個模式。 請改用直接 FQN，通向 {SparkPartitions}。
  2. 具有分割的 Parquet 檔案的目錄，依資料集中的欄進行分割，例如按年和月分割的銷售資料。 例如：./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}。

支援這兩個呈現一致 Parquet 資料集結構描述的基本案例。 限制： 資料品質並非設計來支援具有 Parquet 檔案的目錄任意階層。 我們建議您以 (1) 或 (2) 建構結構呈現資料。

目前，Microsoft Purview 只能使用 受控識別 作為驗證選項來執行資料品質掃描。 資料品質服務會在 Apache Spark 3.5 和 Delta Lake 3.2.1 上執行。

資料品質功能

  • 資料來源連線設定
    • 設定連線以允許 Microsoft Purview 資料品質 SaaS 應用程式擁有資料的讀取存取權，以進行品質掃描和分析。
    • Microsoft Purview 使用受控識別作為驗證選項。
  • 資料分析
    • AI 支援的資料分析體驗。
    • 業界標準統計快照 (分佈、最小值、最大值、標準差、唯一性、完整性、重複性等) 。
    • 向下切入欄層級分析量值。
  • 資料品質規則
    • 開箱即用的規則來衡量六個行業標準數據質量維度 (完整性、一致性、一致性、準確性、新鮮度和唯一性) 。
    • 自訂規則建立功能包括一些現成可用的函數和運算式值。
    • 具有 AI 整合體驗的自動產生規則。
  • 資料品質掃描
    • 選取並指派規則給資料品質掃描的欄。
    • 在實體或資料表層級套用資料新鮮度規則，以測量資料新鮮度 SLA。
    • 排程資料品質掃描作業 (每小時、每天、每週、每月等時間段) 。
  • 資料品質作業監視
    • 啟用監控資料品質工作狀態 ([作用中]、[已完成]、[失敗] 等) 。
    • 啟用瀏覽資料品質掃描歷程記錄。
  • 資料品質評分
    • 規則層級中的資料品質評分 (套用至欄) 之規則的品質評分是多少。
    • 資料資產、資料產品及治理領域的資料品質評分 (一個治理網域可以有許多資料產品，一個資料產品可以有許多資料資產，一個資料資產可以有許多資料欄) 。
  • 資料品質警示
    • 設定警示，以在資料品質閾值未達到預期時通知資料擁有者和資料管理員。
    • 設定電子郵件別名或通訊群組，以傳送有關資料品質問題的通知。
  • 資料品質動作
    • 資料品質的動作中心，具有解決資料品質異常狀態的動作，包括資料品質專員的診斷查詢，以將要針對每個異常狀態修正的特定資料歸零。
  • 資料品質受控虛擬網路
    • 由資料品質管理的虛擬網路，可透過私人端點連線至 Microsoft Azure 資料來源。

資料落地和加密

Microsoft 受管理儲存體帳戶會儲存資料品質中繼資料和分析摘要。 它會將它們儲存在與資料來源相同的區域中，因此資料落地會保持不變。 所有資料都經過加密。 Purview 資源提供者區域使用者資料存放區會用於中繼資料。 它會處理所有加密，而且在所有 Purview 服務中都很常見。 如果您想要使用客戶管理的加密金鑰 (CMK) ，以進一步控制您的資料加密，請使用不同的程序。 深入了解 Microsoft Purview 客戶金鑰。

資料品質計算定價

資料品質使用量是根據 DGPU (資料控管處理單元) 隨用隨付計量計費。 尋找 如何計算資料品質定價的詳細資料。

限制

相關內容

後續步驟

  1. 在整合式目錄中指派使用者資料品質管理員權限，以便他們可以使用所有資料品質功能。
  2. 設定資料來源連線 ，以準備來源進行資料品質評估。
  3. 為資料來源中的資產設定並執行資料分析。
  • 上次更新時間：