Azure Data Factory pipelinesをMapping Data FlowsでFabric (Preview) にアップグレード

Azure Data Factoryの組み込みアップグレード体験を利用して、Mapping Data Flowを含む適格パイプラインをMicrosoft Fabric Data Factoryにアップグレードしてください。 アップグレード時には、サポートされているマッピング データ フローがDataflow Gen2 のマッピング データ フロー (MDF) 変換に変換され、関連するパイプラインは Fabric パイプラインにアップグレードされます。

この記事では、アップグレードされたMDF変換に対する追加の検証、実行、監視ステップについて説明します。 Azure Data Factoryのアップグレード体験全体の概要については、「Azure Data FactoryパイプラインをFabric Data Factoryにアップグレードする」をご覧ください。

前提条件

アップグレードを開始する前に、次の内容を確認してください。

• Mapping Data Flow を含む少なくとも 1 つのパイプラインがあるAzure Data Factory インスタンス。
• Azure Data Factoryインスタンスおよびそのパイプラインへのアクセス許可。
• Microsoft Fabric対応テナントへのアクセス。
• Fabricライセンス もし持っていなければ、「View in Fabric(プレビュー)」のオンボーディング体験で、テナントがセルフサービス登録を有効にしている場合、無料ライセンスへの登録を促されます。
• トライアル キャパシティなどの Fabric キャパシティへのアクセス。
• 貢献者またはそれ以上の権限でFabricワークスペース内のアイテムを作成・更新できます。
• アップグレード時に自動的に作成されない、送信元と宛先のデータストア用のFabric接続。

Azure Data Factory 認証設定を安全にマッピングできる場合、アップグレード時にサポートされている Fabric 接続が自動的に作成されます。 その他の接続については、既存のFabric接続を選択するか、アップグレードを始める前に新たに作成してください。

サポートされているアップグレード シナリオ

組み込みのアップグレード機能は、マッピング データ フローを含む対象の Azure Data Factory パイプラインをサポートします。 アップグレードプロセス中:

• 選ばれたAzure Data FactoryパイプラインはFabricパイプラインにアップグレードされます。
• 対応するマッピングデータ フローは、Dataflow Gen2 で MDF トランスフォームに変換されます。
• パイプラインと参照されるマッピングデータフローは一緒にアップグレードされます。
• サポートされるリンクサービスは新規または既存のFabric接続にマッピングされます。
• 元のAzure Data Factoryパイプラインとマッピングデータフローは変更されていません。

アップグレード前に、 MDF変換の制限、対応コネクタ、変換方式、認証方法、ネットワーク要件を確認してください。

マッピングデータフローを含むパイプラインのアップグレード

Azure Data Factory で View in Fabric (Preview)からアップグレードを開始します。 Fabricでファクトリを表示してもパイプラインがアップグレードされたり変更されたりすることはありません。 アップグレードは、準備状況を確認し、パイプラインを選択し、「 アップグレード開始(プレビュー)」を明示的に選択した後にのみ開始されます。

ステップ1:FabricでAzure Data Factoryを見る

1. Azure Data Factory ポータルを開いてください。

2. Fabric で表示 (プレビュー) を選択します。

   

3. これがこのエクスペリエンスを初めて使用する場合は、利用規約を確認して同意し、Fabric Data Factory を試す を選択してください。

   

4. オンボーディングの手順に従ってください:

   • Fabricライセンスを確認するか取得してください。
   • Fabric の容量を選択してください。
   • Azure Data Factoryに関連付けられたFabricワークスペースを作成または再利用してください。
   • Azure Data Factory をワークスペース内の項目として表示します。
   • オプションで既存のAzure Data Factoryユーザーやグループとワークスペースアクセスを共有することも可能です。

   

セットアップ後、Azure Data FactoryがFabricで見えます。 何もアップグレードされておらず、パイプラインの実行や請求はAzure Data Factoryに残っています。

完全な導入の詳細については、「Azure Data Factory パイプラインを Fabric Data Factory にアップグレードする」をご覧ください。

ステップ2:準備状況の確認

1. FabricのAzure Data Factory項目で「評価してアップグレード」を選択してください。

   

2. 準備度評価を見直してください。

3. アップグレードしたいMapping Data Flowを含むパイプラインを特定しましょう。

4. アップグレード前に、Review に分類されたパイプラインをすべてレビューし、サポートされていないまたは部分的にサポートされている機能に対応してください。

5. アップグレードしたい対象パイプラインを選択します。

評価は読み取り専用で、選択したパイプラインを修正またはアップグレードしません。

ステップ3:接続の確認

1. [ 接続の確認] を選択します。
2. 選択したパイプラインとMapping Data Flowで使用されているAzure Data Factoryのリンクサービスを確認してください。
3. 自動的に作成された接続を確認しましょう。
4. 自動で作成されていない接続については、既存のFabric接続を選択するか、新しい接続を作成してください。
5. 必要な各送信元と宛先が有効なFabric接続にマッピングされているか確認してください。

ステップ4: アップグレードを開始

1. 選択したパイプラインと接続マッピングを確認しましょう。
2. アップグレードの開始 (プレビュー)を選択してください。
3. アップグレードが完了するまで待ちます。
4. アップグレードされた各アイテムの状況を確認してください。

アップグレード中:

• 選択されたAzure Data FactoryパイプラインはFabricパイプラインにアップグレードされます。
• 選択されたパイプラインで参照されるサポートされているマッピング データ フローは、Dataflow Gen2でMDF変換に変換されます。
• パイプラインとそのマッピングデータフローは一緒にアップグレードされます。
• アップグレードされたアイテムは、ソースの Azure Data Factory 名を接頭辞として持つフォルダーに配置されます。
• ソースのAzure Data FactoryパイプラインおよびMapping Data Flowsは変更されていません。

アップグレードされたマッピングデータフロー変換の検証

アップグレードが完了した後、アップグレード結果やアップグレードアイテムが入ったフォルダを開き、パイプラインを実行する前にMDF変換の検証を行います。

アップグレードされた Dataflow Gen2 アイテムを開く

1. アップグレードされたDataflow Gen2の項目を開いてください。

2. アップグレードされたMDF変換ロジックをレビューしてください。

3. 変換グラフを検証します。

   

アップグレードされたマッピング データ フロー変換を保存

1. [保存して実行] メニューを開きます。

2. 保存を選びます。

   

アップグレードされたパイプラインを実行する

検証後、アップグレードされたFabricパイプラインを実行してください。

パイプラインの実行を設定する

1. アップグレードされたFabricパイプラインを開いてください。

2. データフロー アクティビティを選択します。

3. 選択した MDF 変換クエリを確認します。

4. 必要に応じて Spark ランタイム設定を構成します。

   

アップグレードされたパイプラインを実行してください

1. パイプラインを検証します。

2. 必要な接続がすべてマッピングされ認証されているか確認してください。

3. 接続がマッピングされていないために無効化したアクティビティは再度有効にしてください。

4. パイプラインを手動で実行してください。

5. その結果を元のAzure Data Factoryパイプラインと比較してください。

6. 検証後、実行または構成を行い、必要に応じてスケジュールやトリガーを再有効化します。

   

アップグレード結果の検証

本番環境での切り替え前に、アップグレードされたワークロードを非本番環境で検証してください:

• 必要なFabric接続をすべてマッピングし認証したか確認してください。
• ソースとシンクの行数を元のAzure Data Factory実行と比較してください。
• スキーマ、データ型、ヌルハンドリング、スキーマドリフト挙動を検証します。
• Mapping Data Flowの式と変換結果を検証します。
• 挿入、更新、アップサート、削除の動作を確認しましょう。
• パラメータや動的コンテンツを検証する。
• パイプラインを再実行した際に冪等な動作を確認してください。
• エラー処理と監視を見直しましょう。
• 実行時間が同じであると仮定せずに、実行時の挙動とパフォーマンスを比較できます。
• エンドツーエンド検証を完了した後にのみトリガーを再度有効化・設定してください。

元のAzure Data FactoryパイプラインとMapping Data Flowは、並べて検証するために引き続き利用可能です。

アップグレードされたマッピング データ フロー変換の実行を監視する

アップグレードされたパイプラインおよびMDF変換の実行は以下を通じて監視できます:

• パイプライン出力ペイン
• 監視ハブ
• アクティビティの実行
• データフロー アクティビティの実行の詳細

実行の詳細を確認するには:

1. パイプライン実行の詳細を開きます。

2. [アクティビティの実行] から [データフロー アクティビティ] を選択します。

3. 実行状態とランタイムの詳細を確認します。

   

   

制限事項

Azure Data Factoryの一般的なアップグレード制限は、マッピングデータフローを含むパイプラインにも適用されます。 アップグレードするパイプラインを選ぶ前に 既知の制限を確認してください 。

公開プレビュー中のMDF変換には現在、以下の制限が適用されます:

関連するコンテンツ

• Azure Data FactoryのパイプラインをFabric Data Factoryにアップグレードしてください
• Dataflow Gen2 でのデータ フロー変換のマッピング (プレビュー)
• Azure Data Factory から Fabric Data Factory へのアップグレード計画
• Azure Data Factory から Fabric Data Factory へのアップグレードのベスト プラクティス
• Dataflow Gen2 の価格