重要
Microsoft Purview 統合カタログと従来の Microsoft Purview データ ガバナンス機能 (旧称 Azure Purview) は廃止されます。 Microsoft は、Microsoft Fabric のデータ ガバナンス機能を統合しています。 新しいアカウントは作成できなくなり、既存の機能は 2027 年 11 月 12 日までメンテナンス モードのままになります。 廃止のタイムライン、移行ガイダンス、推奨される次の手順については、 Microsoft Purview データ ガバナンスの廃止のお知らせを参照してください。
この記事では、Azure Data Factory アカウントを Microsoft Purview アカウントに接続して、データ系列を追跡し、データ ソースを取り込むために必要な手順について説明します。 この記事では、アクティビティの対象範囲とサポートされる系列パターンの詳細についても説明します。
Azure Data Factory を Microsoft Purview に接続すると、サポートされている Azure Data Factory アクティビティが実行されるたびに、アクティビティのソース データ、出力データ、アクティビティに関するメタデータが Microsoft Purview データ マップに自動的に取り込まれます。
データ ソースが既にスキャンされていて、Data Map に存在する場合、取り込みプロセスによって Azure Data Factory の系列情報がその既存のソースに追加されます。 ソースまたは出力がデータ マップに存在せず、Azure Data Factory 系列でサポートされている場合、Microsoft Purview は Azure Data Factory のメタデータをルート コレクションのデータ マップに自動的に追加します。
この接続は、ユーザーが Azure Data Factory を使用して情報を移動および変換するときにデータ資産を監視するための優れた方法です。
既存の Data Factory 接続を表示する
複数の Azure Data Factory を 1 つの Purview に接続して系列情報をプッシュできます。 現在の制限では、Microsoft Purview 管理センターから一度に最大 10 個の Azure Data Factory アカウントに接続できます。 Microsoft Purview アカウントに接続されている Azure Data Factory アカウントの一覧を表示するには、次の手順に従います:
左側のナビゲーション ウィンドウで [ 管理 ] を選択します。
系列 接続で、 Data Factory を選択します。
Data Factory 接続の一覧が表示されます。
接続 状態のさまざまな値に注目してください。
- 接続済み: Data Factory は Microsoft Purview アカウントに接続されています。
- 切断: Data Factory はカタログにアクセスできますが、別のカタログに接続されています。 その結果、データ系列はカタログに自動的に報告されません。
- 不明: 現在のユーザーは Data Factory にアクセスできないため、接続状態は不明です。
注:
Data Factory 接続を表示するには、次のロールが割り当てられている必要があります。 管理グループからのロール継承はサポートされていません。 ルート コレクションに対するコレクション管理者ロール。
新しい Azure Data Factory 接続を作成する
注:
Azure Data Factory 接続を追加または削除するには、次のロールが割り当てられている必要があります。 管理グループからのロール継承はサポートされていません。 ルート コレクションに対するコレクション管理者ロール。
また、Azure Data Factory の「所有者」または「共同作成者」である必要があります。
Azure Data Factory では、システム割り当てマネージド ID を有効にする必要があります。
次の手順に従って、既存の Azure Data Factory を Microsoft Purview アカウントに接続します。 ADF から Data Factory を Microsoft Purview アカウントに接続することもできます。
左側のナビゲーション ウィンドウで [ 管理 ] を選択します。
系列 接続で、 Data Factory を選択します。
[ Data Factory の接続 ] ページで、[ 新規] を選択します。
一覧から Azure Data Factory アカウントを選択し、[OK] を選択します。 また、サブスクリプション名でフィルター処理して、リストを制限することもできます。
Azure Data Factory が既に現在の Purview アカウントに接続されている場合、または Azure Data Factory にマネージド ID がない場合、一部の Azure Data Factory インスタンスが無効になることがあります。 選択した Azure Data Factory のいずれかが既に他の Microsoft Purview アカウントに接続されている場合は、警告メッセージが表示されます。 [OK] を選択すると、他の Microsoft Purview アカウントとの Azure Data Factory 接続が切断されます。 その他の確認は必要ありません。
注:
一度に最大 10 個の Azure Data Factory アカウントを追加できます。 10 を超える Azure Data Factory アカウントを追加するには、複数のバッチで追加します。
認証のしくみ
Azure Data Factory は、マネージド ID を使用して、Microsoft Purview からの系列プッシュ操作を認証します。 UI で Azure Data Factory を Purview に接続すると、ロールの割り当てが自動的に追加されます。
Azure Data Factory のマネージド ID に、Microsoft Purview ルート コレクションのデータキュレーター ロールを付与します。 詳細については、「 Microsoft Purview でのアクセス制御 」と「 ロールの追加」および「コレクションによるアクセスの制限」を参照してください。
Data Factory 接続の削除
重要
Data Factory 接続が削除された場合でも、進行中の取り込みは取り消されません。 Azure Data Factory 系列のインジェストは非同期操作です。
Azure Data Factory 接続を削除するには、次の手順を実行します。
[Data Factory 接続] ページで、1 つ以上の Azure Data Factory 接続の横にある [削除] ボタンを選択します。
ポップアップで [確認] を選択して、選択した Azure Data Factory 接続を削除します。
Azure Data Factory のリンクを監視する
Microsoft Purview ポータルでは、 Data Factory リンクを監視できます。
サポートされている Azure Data Factory アクティビティ
Microsoft Purview は、次の Azure Data Factory アクティビティからランタイム系列をキャプチャします。
重要
ソースまたはコピー先がサポートされていないデータ ストレージ システムを使用している場合、Microsoft Purview は系列を削除します。
Azure Data Factory と Microsoft Purview の統合では、Azure Data Factory がサポートするデータ システムのサブセットのみがサポートされます。 詳細については、次のセクションを参照してください。
Copy アクティビティのサポート
| データ ストア | サポート |
|---|---|
| Azure Blob Storage | はい |
| Azure Cognitive Search | はい |
| Azure Cosmos DB for NoSQL * | はい |
| Azure Cosmos DB for MongoDB * | はい |
| Azure Data Explorer * | はい |
| Azure Data Lake Storage Gen1 | はい |
| Azure Data Lake Storage Gen2 | はい |
| Azure Database for MariaDB * | はい |
| Azure Database for MySQL * | はい |
| Azure Database for PostgreSQL * | はい |
| Azure Files | はい |
| Azure SQL データベース * | はい |
| Azure SQL Managed Instance * | はい |
| Azure Synapse Analytics * | はい |
| Azure 専用 SQL プール (旧称 SQL DW) * | はい |
| Azure Table Storage | はい |
| Amazon S3 | はい |
| ハイブ * | はい |
| Oracle * | はい |
| SAP テーブル (SAP ECC または SAP S/4HANA に接続する場合) | はい |
| SQL Server * | はい |
| Teradata * | はい |
* Microsoft Purview は現在、系列またはスキャンのクエリまたはストアド プロシージャをサポートしていません。 系列は、テーブル ソースとビュー ソースのみに制限されます。
セルフホステッド Integration Runtime を使用する場合は、次の系列をサポートする最小バージョンに注意してください。
- 任意のユース ケース: バージョン 5.9.7885.3 以降
- Oracle からのデータのコピー: バージョン 5.10 以降
- COPY コマンドまたは PolyBase を介した Azure Synapse Analytics へのデータのコピー: バージョン 5.10 以降
コピー アクティビティ系列の制限事項
現時点では、次のコピー アクティビティ機能を使用する場合、系列はまだサポートされていません。
- バイナリ形式を使用して Azure Data Lake Storage Gen1 にデータをコピーします。
- バイナリ ファイル、区切りテキスト ファイル、Excel、JSON、XML ファイルの圧縮設定。
- Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics、SQL Server、SAP テーブルのソース パーティション オプション。
- ファイルごとの最大行数を設定してファイル ベースのシンクにデータをコピーします。
- 現在、ソース/シンクが リソース セットである場合、列レベルの系列はコピー アクティビティではサポートされていません。
系列に加えて、次のコネクタのデータ資産スキーマ (Asset -> Schema タブに表示) が報告されます。
- Azure Blob、Azure Files、ADLS Gen1、ADLS Gen2、Amazon S3 上の CSV ファイルと Parquet ファイル Azure Files
- Azure Data Explorer、Azure SQL Database、Azure SQL Managed Instance、Azure Synapse Analytics、SQL Server、Teradata
Data Flow のサポート
| データ ストア | サポート |
|---|---|
| Azure Blob Storage | はい |
| Azure Cosmos DB for NoSQL * | はい |
| Azure Data Lake Storage Gen1 | はい |
| Azure Data Lake Storage Gen2 | はい |
| Azure Database for MySQL * | はい |
| Azure Database for PostgreSQL * | はい |
| Azure SQL データベース * | はい |
| Azure SQL Managed Instance * | はい |
| Azure Synapse Analytics * | はい |
| Azure 専用 SQL プール (旧称 SQL DW) * | はい |
* Microsoft Purview は現在、系列またはスキャンのクエリまたはストアド プロシージャをサポートしていません。 系列は、テーブル ソースとビュー ソースのみに制限されます。
データ フロー系列の制限事項
- データ フロー系列は、関連するファイルを可視化せずにフォルダー レベルの リソース セット を生成する場合があります。
- ソース/シンクが リソース セットである場合、列レベルの系列は現在サポートされていません。
- データ フロー アクティビティの系列の場合、Microsoft Purview では関連するソースとシンクの表示のみがサポートされています。 データ フロー変換の詳細な系列はまだサポートされていません。
- フローレットがデータフローの一部である場合、系列はサポートされません。
- 現在、Purview では Synapse テーブル (LakeHouse DB/Workspace DB) の系列レポートはサポートされていません
SSIS パッケージのサポートの実行
サポートされているデータ ストアを参照してください。
セキュリティで保護された Microsoft Purview アカウントにアクセスする
ファイアウォールで Microsoft Purview アカウントが保護されている場合は、Microsoft Purview プライベート エンドポイントを介して、Azure Data Factory がセキュリティで保護された Microsoft Purview アカウントにアクセスできるようにする方法について説明します。
Azure Data Factory 系列を Microsoft Purview に取り込む
エンドツーエンドのチュートリアルについては、「 チュートリアル: Data Factory 系列データを Microsoft Purview にプッシュする」を参照してください。
サポートされている系列パターン
Microsoft Purview では、複数の系列パターンがサポートされています。 生成される系列データは、Azure Data Factory アクティビティで使用されるソースとシンクの種類によって異なります。 Azure Data Factory では 80 を超えるソースとシンクがサポートされていますが、Microsoft Purview ではサブセットのみがサポートされます。 サポートされているソースとシンクについては、「サポートされている Azure Data Factory アクティビティ」を参照してください。
系列情報を送信するように Azure Data Factory を構成するには、「系列の概要」を参照してください。
系列ビューで情報を見つけるには、次の方法を使用します。
- [ 系列 ] タブで図形にマウス ポインターを置くと、ツールヒントでアセットに関する追加情報をプレビューできます。
- ノードまたはエッジを選択して、それが属するアセット タイプを表示するか、アセットを切り替えます。
- [ 系列 ] タブには、左側にデータセットの列が表示されます。 列レベルの系列について詳しくは、「 データセット列系列」を参照してください。
1 対 1 操作のデータ系列
データ系列をキャプチャするための最も一般的なパターンは、単一の入力データセットから単一の出力データセットにデータを移動し、その間にプロセスを使用します。
このパターンの例には、次のコンポーネントが含まれます。
- 1 source/input: Customer (SQL Table)
- 1 シンク/出力: Customer1.csv (Azure BLOB)
- 1 プロセス: CopyCustomerInfo1#Customer1.csv (Data Factory Copy アクティビティ)
1 対 1 の系列とワイルドカード サポートを使用したデータ移動
系列をキャプチャするためのもう 1 つの一般的なシナリオは、ワイルドカードを使用して単一の入力データセットから単一の出力データセットにファイルをコピーすることです。 ワイルドカードを使用すると、コピー アクティビティは、ファイル名の共通の部分を使用してコピーのために複数のファイルを照合できます。 Microsoft Purview は、対応するコピー アクティビティによってコピーされた個々のファイルのファイル レベルの系列をキャプチャします。
このパターンの例には、次のコンポーネントが含まれます。
- ソース/入力: CustomerCall*.csv (ADLS Gen2 パス)
- シンク/出力: CustomerCall*.csv (Azure BLOB ファイル)
- 1 プロセス: CopyGen2ToBlob#CustomerCall.csv (Data Factory Copy アクティビティ)
n:1 系列を使用したデータ移動
Data Flow アクティビティを使用して、マージや結合などのデータ操作を実行できます。 複数のソースデータセットを使用して、ターゲットデータセットを生成できます。 この例では、Microsoft Purview は、個々の入力ファイルのファイル レベルの系列を、Data Flow アクティビティの一部である SQL テーブルにキャプチャします。
このパターンの例には、次のコンポーネントが含まれます。
- 2 ソース/入力: Customer.csv、 Sales.parquet (ADLS Gen2 パス)
- 1 シンク/出力: 会社のデータ (Azure SQL テーブル)
- 1 プロセス: DataFlowBlobsToSQL (Data Factory Data Flow アクティビティ)
リソース セットの系列
リソース セットは、基になるストレージ内の多数のパーティション ファイルを表すカタログ内の論理オブジェクトです。 詳細については、「 リソース セットについて」を参照してください。 Microsoft Purview が Azure Data Factory から系列をキャプチャするときに、規則を適用して個々のパーティション ファイルを正規化し、単一の論理オブジェクトを作成します。
次の例では、Azure Blob から Azure Data Lake Gen2 リソース セットが生成されます。
- 1 ソース/入力: Employee_management.csv (Azure BLOB)
- 1 シンク/出力: Employee_management.csv (Azure Data Lake Gen 2)
- 1 プロセス: CopyBlobToAdlsGen2_RS (Azure Data Factory Copy アクティビティ)