データ資産のデータ プロファイルを構成して実行する

データ プロファイリングは、さまざまなデータ ソースで使用できるデータを調べ、統計情報とこのデータに関する情報を収集するプロセスです。 データ プロファイリングは、定義された一連の目標に従ってデータの品質レベルを評価するのに役立ちます。 データの品質が低い場合、またはorganizationのニーズを満たすために統合できない構造で管理されている場合、ビジネスプロセスと意思決定が損なわれます。 データ プロファイリングを使用すると、データの信頼性と品質を理解でき、これは収益を増やし成長を促進するデータ主導の意思決定を行うための前提条件となります。

前提条件

  • データ品質評価スキャンを実行してスケジュールするには、ユーザーが データ品質スチュワードの役割である必要があります。
  • 現時点では、データ品質スキャンを実行できるように、パブリック アクセスまたはマネージド仮想ネットワーク アクセスを許可するように Microsoft Purview アカウントを設定することができます。

データ品質のライフ サイクル

データ プロファイリングは、データ資産のデータ品質ライフサイクルの 5 番目のステップです。 前の手順は次のとおりです。

  1. すべてのデータ品質機能を使用するために、統合カタログでユーザーにデータ品質スチュワード権限を割り当てます。
  2. Purview データ マップでデータ ソースを登録してスキャンします。
  3. データ アセットをデータ製品に追加します。
  4. データ ソース接続を設定して、データ品質評価用にソースを準備します。

サポートされているマルチクラウド データ ソース

サポートされているデータ ソース ドキュメントを参照して、仮想ネットワークのサポートの有無にかかわらず、データ プロファイリングとデータ品質スキャンのファイル形式を含む、サポートされているデータ ソースの一覧を表示します。

重要

Parquet ファイルのデータ品質は、次のサポートをサポートするように設計されています。

  1. Parquet パーツ ファイルを含むディレクトリ。 例: ./Sales/{Parquet Part Files}。 完全修飾名は https://(storage account).dfs.core.windows.net/(container)/path/path2/{SparkPartitions} の後にする必要があります。 ディレクトリまたはサブディレクトリ構造に {n} 個のパターンがないことを確認してください。これは、{SparkPartitions} につながる直接 FQN である必要があります。
  2. パーティション分割された Parquet Files を含むディレクトリ。年と月でパーティション分割された売上データなどのデータセット内の列でパーティション分割されます。 例: ./Sales/{Year=2018}/{Month=Dec}/{Parquet Part Files}。

一貫性のある Parquet データセット スキーマを示すこれらの重要なシナリオは両方ともサポートされています。 制限事項: Parquet ファイルを含むディレクトリの N 個の任意の階層をサポートするようには設計されていません。 データを(1)または(2)構築した構造で提示することをおすすめします。

サポートされている認証方法

現時点では、Microsoft Purview では、認証オプションとして マネージド ID を使用することによってのみ、データ品質スキャンを実行できます。 Apache Spark 3.5 および Delta Lake 3.2.1 で実行されるデータ品質サービス。 サポートされているリージョンの詳細については、「 データ品質の概要」を参照してください。

重要

  • データソースのスキーマを更新する場合は、データ プロファイリングを実行する前に、 スキーマ インポート機能 を使用して、データ品質の概要ページからスキーマをインポートする必要があります。
  • 仮想ネットワークは Google BigQuery ではサポートされていません。
  • 現在のバージョンでは、バッチごとに 50 列をプロファイリングできます。 データ アセットに 50 を超える列がある場合は、追加の列をより多くのバッチでプロファイルできます。
  • プロファイリングは、選択したデータ資産からのランダム サンプルを使用しており、サンプル サイズは 100 万レコードです。
  • 列に個別の値が含まれている場合は、その列をプロファイルしないでください。 異なる値を持つ列では、正規分布を作成することはできません。

データ プロファイリング ジョブを構成する手順

  1. データ品質のためにスキャンしている資産へのデータ ソース接続をまだ構成していない場合は、構成します。

  2. Microsoft Purview 統合カタログから、[正常性管理]、[データ品質] の順に選択します。

  3. 一覧から ガバナンス ドメイン を選択します。

  4. データ製品を選択して、その製品にリンクされたデータ資産をプロファイリングします。

  5. データ資産を選択して、プロファイルのデータ品質 の概要 ページに移動します。

  6. [ プロファイルの選択 ] ボタンをクリックして、選択したデータ資産のプロファイリング ジョブを実行します。

  7. AI 推奨エンジンは、データ プロファイリングを実行するために重要であろう列を提案します。 推奨列の選択を解除したり、プロファイルする列をさらに選択したりできます。

  8. 関連する列を選択したら、[ プロファイルの実行] を選択します。

  9. ジョブの実行中は、 ガバナンス・ドメインのデータ品質モニター・ページからジョブの進行状況を追跡できます。

  10. ジョブが完了したら、アセットのデータ品質ページの左側メニューから「プロファイル」タブを選択して、プロファイリング結果と統計スナップショットを閲覧します。 データ アセットの列の数に応じて、複数のプロファイル結果ページが表示される場合があります。

  11. 各列のプロファイリング結果と統計メジャーを参照します。

プロファイリング結果について

  • 最小: 列の文字数の最小長。
  • 最大: 列内の文字の最大長。
  • 分布: データの正規分布。
  • 一意の値: 繰り返されない値。それらはユニークです。
  • 重複する値: 複数回繰り返される値。
  • 空/空白の値: 列は空白または空白です。
  • Null: 列に Null 値。
  • 平均: 中間値または算術平均。
  • Standard deviation: 一連の値の変動または分散の量を定量化する統計的尺度。

関連コンテンツ

次の手順

  1. プロファイリング結果に基づいてデータ品質ルールを設定し、それらをデータ資産に適用します。
  2. データ製品でデータ品質スキャンを構成して実行し、データ製品でサポートされているすべての資産の品質を評価します。
  3. スキャン結果を確認し て、データ製品の現在のデータ品質を評価します。
  • 最終更新: