設定及執行資料資產的資料分析

資料分析是檢查不同資料來源中可用的資料，並收集有關此資料的統計資料和資訊的過程。 資料分析可協助您根據一組定義的目標來評估資料的品質層級。 如果數據質量差，或者在無法集成以滿足組織需求的結構中進行管理，業務流程和決策就會受到影響。 資料分析可讓您了解資料的可信度和質量，這是做出數據驅動決策以增加收入和促進成長的先決條件。

必要條件

  • 若要執行和排程資料品質評估掃描，您的使用者必須是 資料品質管理者角色。
  • 目前，您可以將 Microsoft Purview 帳戶設定為允許公用存取或受管理的虛擬網路存取，以便執行資料品質掃描。

資料品質生命週期

資料分析是資料資產資料品質生命週期的第五個步驟。 先前的步驟為：

  1. 在 整合式目錄 中指派 () 資料品質管理員權限給使用者，以使用所有資料品質功能。
  2. 註冊 並 掃描 Purview 資料對應中的資料來源。
  3. 將您的資料資產新增至資料產品。
  4. 設定資料來源連線，以準備資料來源以進行資料品質評估。

支援的多雲端資料來源

瀏覽 支援的資料來源文件 ，以檢視支援的資料來源清單，包括用於資料分析和資料品質掃描的檔案格式，無論是否支援虛擬網路。

重要事項

Parquet 檔案的資料品質旨在支援：

  1. 含有 Parquet 組件檔案的目錄。 例如：./Sales/{Parquet Part Files}。 完整名稱必須遵循 https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions}。 請確定目錄或子目錄結構中不要有 {n} 個模式;它必須是通往 {SparkPartitions} 的直接 FQN。
  2. 具有分割 Parquet Files 的目錄，按資料集中的欄進行分割，例如按年份和月份分割的銷售資料。 例如：./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}。

支援這兩個呈現一致 Parquet 資料集結構描述的基本案例。 限制： 它的設計目的不是，也不會支援具有 Parquet 檔案的目錄的 N 個任意階層。 我們建議您以 (1) 或 (2) 建構結構呈現資料。

支援的驗證方法

目前，Microsoft Purview 只能使用 受控識別 作為驗證選項來執行資料品質掃描。 資料品質服務會在 Apache Spark 3.5 和 Delta Lake 3.2.1 上執行。 如需支援區域的詳細資訊，請參閱 資料品質概觀。

重要事項

  • 如果您更新資料來源上的結構描述，則需要先使用 結構描述匯入功能 ，從資料品質概觀頁面匯入結構描述，再執行資料分析。
  • Google BigQuery 不支援虛擬網路。
  • 在目前版本中，每個批次可以分析 50 欄。 如果您的資料資產有超過 50 個資料行，您可以在更多批次中分析額外的資料行。
  • 分析是使用所選資料資產中的隨機樣本，樣本大小為 1,000,000 筆記錄。
  • 如果欄包含相異值，請勿分析該欄。 具有不同值的欄無法建立常態分配。

設定資料分析作業的步驟

  1. 如果您尚未設定資料來源連線至您正在 掃描的資產以確保資料品質 ，請設定此連線。

  2. 從 Microsoft Purview 整合式目錄，選取 [健康情況管理]，然後選取 [資料品質]。

  3. 從清單中選取 控管網域 。

  4. 選取 資料產品 以分析連結至該產品的資料 資產 。

  5. 選取資料資產以導覽至資料品質 概觀 頁面以進行分析。

  6. 選取 設定檔按鈕 以執行所選資料資產的分析作業。

  7. AI 建議引擎會建議可能重要的資料欄位，以對其執行資料分析。 您可以取消選取建議的欄和/或選取更多要分析的欄。

  8. 選取相關資料欄位之後，請選取 [ 執行設定檔]。

  9. 當工作正在執行時， 您可以從治理網域中的資料品質監控頁面追蹤其進度。

  10. 工作完成後，從資產資料品質頁面的左側功能表選取 設定檔 索引標籤，以列出瀏覽分析結果和統計快照。 根據資料資產的欄數，可能會有數個設定檔結果頁面。

  11. 瀏覽每一欄的分析結果和統計量值。

了解分析結果

  • 最小值：欄中字元的最小長度。
  • 最大值：欄中字元的最大長度。
  • 分佈：資料的常態分佈。
  • 唯一值： 不會重複的值;它們是獨一無二的。
  • 重複的值：重複超過一次的值。
  • 空白值/空白值：欄為空白或空白。
  • Null：資料欄位中的 Null 值。
  • 平均值：中間值或算術平均值。
  • Standard deviation：一種統計量度，用於量化一組值中的變異量或分散量。

相關內容

後續步驟

  1. 根據分析結果設定資料品質規則，並將其套用至您的資料資產。
  2. 在資料產品上設定並執行資料品質掃描，以評估資料產品中所有支援資產的品質。
  3. 檢閱掃描結果 ，以評估資料產品的目前資料品質。
  • 上次更新時間：