クラシックのデータ系列 データ カタログ

重要

Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。

この記事では、従来の Microsoft Purview データ カタログのデータ系列の概要について説明します。 また、データ システムがカタログと統合してデータの系統をキャプチャする方法についても詳しく説明します。 Microsoft Purview は、組織のデータ資産のさまざまな部分で、次のようなさまざまな準備レベルでデータの系列をキャプチャできます。

  • さまざまなプラットフォームからステージングされた生データ
  • 変換および準備されたデータ
  • 視覚化プラットフォームで使用されるデータ

統合カタログのデータ系列については、 データ資産の詳細 と系列情報を表示する方法を参照してください。

ユース ケース

データ系列は、データのオリジンにまたがるライフサイクルであり、データ資産全体で時間の経過と共に移動する場所として広く理解されています。 これは、トラブルシューティング、データ パイプラインの根本原因の追跡、デバッグなど、さまざまな種類の後方シナリオに使用されます。 系列は、データ品質分析、コンプライアンス、および影響分析と呼ばれることが多い "What If (もしも)" シナリオにも使用されます。 系列は、データがどのように変換されたかなど、ソースからコピー先に移動するデータを示すために視覚的に表されます。 ほとんどのエンタープライズデータ環境が複雑であることを考えると、これらのビューは、周辺データポイントの統合やマスキングを行わないと理解するのが難しい場合があります。

クラシック データ カタログでの系列エクスペリエンス

カタログは、他のデータ処理、ストレージ、および分析システムと接続して、系列情報を抽出します。 この情報は、カタログ内の一般的なシナリオ固有の系列エクスペリエンスを表すために結合されます。

BLOB ストアから Power BI ダッシュボードに一直どおりコピーされたデータを示す終了系列

データ資産には、データ抽出、変換 (ETL/ELT システム)、分析、視覚化システムを行うシステムが含まれる場合があります。 各システムは、システム境界内のデータの状態と品質を記述する、豊富な静的メタデータと操作メタデータをキャプチャします。 データ カタログの系列の目標は、各データ システムから移動、変換、および操作のメタデータを可能な限り低い粒度で抽出することです。

次の例は、複数のシステム間を移動するデータの一般的な使用例であり、カタログが系列のために各システムに接続します。

  • Data Factory は、オンプレミス/raw ゾーンからクラウドのランディング ゾーンにデータをコピーします。
  • Synapse、Databricks などのデータ処理システムは、ノートブックを使用してデータを処理し、ランディング ゾーンからキュレーションされたゾーンに変換します。
  • 最適なクエリ パフォーマンスと集計のために、分析モデルへのデータをさらに処理します。
  • データビジュアライゼーションシステムは、データセットを使用し、メタモデルを介して処理して、BIダッシュボード、ML実験などを作成します。

系列の粒度

次のセクションでは、Microsoft Purview によって系列情報が収集される粒度の詳細について説明します。 この粒度は、Microsoft Purview でサポートされているデータ システムによって異なる場合があります。

エンティティ レベル系列: ソース>>ターゲットの処理

  • 系列はグラフとして表され、通常、コンピューティング システムによって呼び出されるプロセスによって接続されるデータ ストレージ システム内のソース エンティティとターゲット エンティティが含まれます。
  • データ・システムはカタログに接続して、基盤となるデータ・システムの物理オブジェクトを参照する一意のオブジェクト (SQL ストアド・プロシージャ、ノートブックなど) を生成してレポートします。
  • 所有権などの他のメタデータを含む忠実度の高い系列がキャプチャされ、ソース & ターゲット エンティティの人間が読める形式で系列が表示されます。 例: パーティションまたはファイル レベルではなく、ハイブ テーブル レベルで系列。

列または属性レベルの系列

ターゲット エンティティで属性を作成または派生するために使用されるソース エンティティの属性を識別します。 ソース属性の名前は、ターゲットで保持または名前変更できます。 Azure Data Factory (ADF) などのシステムでは、オンプレミス環境からクラウドへの 1 対 1 のコピーを実行できます。 例: Table1/ColumnA -> Table2/ColumnA。

プロセスの実行状態

根本原因分析とデータ品質シナリオをサポートするために、データ処理システムでのジョブの実行状態をキャプチャします。 この要件は、他のデータ処理システムの監視機能を置き換えることとは関係ありません。

まとめ

系列は、品質、信頼、監査シナリオをサポートするために不可欠な機能です。 データ カタログの目標は、環境内のすべてのデータ システムが自然に接続して系列をレポートできる堅牢なフレームワークを構築することです。 メタデータが利用可能になると、カタログはデータ システムによって提供されるメタデータをまとめて、データ ガバナンスのユース ケースを強化できます。

次の手順