本ガイドでは、アップグレード戦略、意思決定基準、そしてAzure Data Factory(ADF)パイプラインをFabric Data Factoryに移行するためのステップバイステップのアプローチを解説します。 各アップグレードコンポーネントの実装レベルのベストプラクティスについては、「 アップグレードベストプラクティス」をご覧ください。
アップグレードする理由
ADFやSynapseのパイプラインからFabric Data Factoryへのアップグレードは単なるリフトアンドシフト以上のもので、ガバナンスの簡素化、パターンの標準化、そして新しい機能を使ってデータ統合戦略を改善する機会です。
Fabric には、次のような多くの新機能が用意されています。
- メッセージ ルーティング用の 電子メール や Teams などの統合パイプライン アクティビティ
- 外部 Git 依存関係のない組み込みの CI/CD (デプロイ パイプライン)
- 統合された分析のための OneLake、 Warehouse、 Lakehouse とのシームレスなワークスペース統合
- 合理化された セマンティック データ モデルは、 セルフサービス データとエンタープライズ データの両方のニーズを満たすようにスケーリングを更新します
- パイプラインの作成と管理に役立つ Copilot の組み込みの AI 機能
詳細な比較については、 Azure Data Factory と Fabric Data Factory の比較ガイドを参照してください。
アーキテクチャの重要な違い
Azure Data FactoryからFabric Data Factoryへのアップグレード前に、アップグレード計画に最も大きな影響を与えるこれらの重要なアーキテクチャの違いを考慮してください。
| Category | Azureデータファクトリー | Fabric Data Factory | アップグレードの影響 |
|---|---|---|---|
| カスタム コード | カスタム アクティビティ | Azure Batch アクティビティ | アクティビティ名は異なりますが、同じ機能をサポートしています。 |
| Dataflows | Sparkベースの実行によるデータフローのマッピング | Dataflow Gen2は、Sparkベースの実行によるMapping Data Flow(MDF)変換をサポートしています。 MDF変換は現在プレビュー段階です。 | 対象となるAzure Data FactoryおよびAzure Synapse Analyticsのマッピングデータフローは、組み込みの移行体験を利用してDataflow Gen2のMDFトランスフォールトに移行できます。 移行前に対応するコネクタ、変換方法、認証方法、プレビュー制限を確認しましょう。 サポートされていないシナリオでは、Dataflow Gen2のPower Query、Fabric Warehouse SQL、ノートブック、その他のFabric機能を使って変換を再設計してください。 |
| データセット | 分離された再利用可能なデータセット オブジェクト | プロパティはアクティビティ内でインラインで定義されます | ADF から Fabric に変換する場合、"データセット" 情報は各アクティビティ内にあります。 |
| 動的接続 | リンクされたサービス プロパティは、パラメーターを使用して動的にすることができます | 接続プロパティは動的プロパティをサポートしていませんが、パイプライン アクティビティでは接続オブジェクトに動的コンテンツを使用できます | パラメーター化された接続に依存するメタデータ ドリブン アーキテクチャ ベースのソリューションの場合は、Fabric で接続オブジェクトをパラメーター化します。 |
| グローバル パラメーター | グローバル パラメーター | ファブリック変数ライブラリ | 実装パターンやデータタイプは異なりますが、 アップグレードガイドもあります。 |
| HDInsight アクティビティ | 5 つの個別のアクティビティ (Hive、Pig、MapReduce、Spark、ストリーミング) | 単一 の HDInsight アクティビティ | 変換時に必要なアクティビティの種類は 1 つだけですが、すべての機能がサポートされています。 |
| Identity | マネージド ID | ファブリック ワークスペース ID | さまざまな ID モデル。一部の計画をシフトする必要があります。 |
| Key Vault（キーボールト） | すべての認証の種類との成熟した統合 | Fabric Key Vault リファレンスによる制限付き統合 | 現在サポートされている Key Vault のソースと認証を既存の構成と比較します。 |
| パイプラインの実行 | パイプラインの実行アクティビティ | FabricDataPipeline 接続の種類を使用してパイプライン アクティビティを呼び出す | 変換時に、アクティビティ名と接続の要件が変更されます。 |
| Scheduling | 多数のパイプラインに対して 1 つのトリガー、または一元化された管理を使用するパイプラインごとに多数のトリガー | パイプラインごとに 1 つのスケジュール、またはスケジュールの再利用や中央ハブがないパイプラインごとに多数のスケジュール | 現在、Fabric にはパイプラインごとのスケジュール管理が必要です。 |
アップグレード経路
アップグレードパスはADF資産とその機能の同等性に依存します。 オプションは次のとおりです。
- Azure Data Factoryの項目をFabricでの継続性のために使用します。 - Fabric内の既存のAzure Data Factoryインスタンスのライブビューで、段階的なアップグレードとテストを可能にします。 この経験は、コンバージョンツールやリプラットフォームを使う前の良い第一歩でもあります。
- Azure Data Factoryパイプラインの組み込みアップグレード体験を活用してください - Azure Data Factoryでパイプラインの準備状況を直接評価し、互換性結果を確認し、ガイド付きUXを使ってサポートされているパイプラインをFabricワークスペースにアップグレードしましょう。
- 複雑な環境向けの手動アップグレード - Fabricでパイプラインを再構築し、新機能を活用しパフォーマンスを最適化します。 このアプローチは、パリティが低いパイプラインやカスタムロジックのパイプラインには必要ですが、同時にアーキテクチャの近代化の機会でもあります。
Fabric ワークスペース内の Azure Data Factory 項目
既存のADFをFabricワークスペースに追加すれば、段階的にアップグレードしながら即時の可視性とガバナンスを得られます。 このアプローチは、発見、所有権割り当て、並行テストに理想的です。なぜなら、チームはパイプラインを確認し、Fabricワークスペースの下にそれらを整理し、ドメインごとのカットオーバーを計画できるからです。 Azure Data Factory 項目を使用して、存在するものをカタログ化し、最も価値の高い/最もリスクの低いパイプラインに最初に優先順位を付け、変換スクリプトとパートナー ツールが一貫して従うことができる規則 (名前付け、フォルダー、接続の再利用) を確立します。
Azure Data Factoryのアイテムタイプを通じてFabricにマウントします:Azure Data FactoryをFabricに持ち込む。
組み込みエクスペリエンスを使ったAzure Data Factoryパイプラインのアップグレード
Fabricは、Azure Data FactoryやFabricのユーザーエクスペリエンスを通じて、スクリプトやカスタムツールを使わずに、Azure Data Factoryのパイプラインを直接評価・アップグレードできる、評価優先の組み込みアップグレード体験を提供します。 このエクスペリエンスは、次のことに役立ちます。
- パイプラインとアクティビティの準備状況をAzure Data Factoryで直接評価します。
- アップグレード前に互換性のギャップを理解しましょう。
- Azure Data FactoryをFabric ワークスペースにマウントして、サイド バイ サイド レビューを行います。
- マウントされたデータファクトリーからサポートパイプラインを段階的にFabricにアップグレードしてください。
- 選択したパイプライン内のサポートされているマッピング データ フローを、Dataflow Gen2 の MDF 変換にアップグレードします。
- アップデートが必要な項目、サポートされていない機能を使用しているもの、または間もなく登場する項目の修復や再設計を計画しましょう。
各パイプラインとアクティビティは明確に分類されています(準備完了、必要情報レビュー、近日公開予定、互換性なし)、チームが意図的にアップグレードを計画し、本番作業を切り替える前に結果を検証するのに役立ちます。 このアプローチは、ガイド付きでリスクの低い段階的なアップグレードパスを求める顧客に適しており、サポートされていない機能や次のステップの可視性を維持しつつも利用可能です。 詳細なガイダンスについては、「Azure Data Factory パイプラインをFabricにアップグレードする」を参照してください。
組み込みのアップグレード エクスペリエンスは、マッピング データ フローを含む適格なパイプラインもサポートしています。 対応するマッピング データ フローは、Dataflow Gen2 で MDF 変換にアップグレードされ、その変換ロジックと Spark ベースの実行モデルを保持します。 この機能は現在プレビュー段階です。 要件、制限、アップグレード手順については、「Azure Data Factory Mapping Data Flow pipelines を Fabric にアップグレード」をご覧ください。
手動アップグレード
パリティが低い複雑なパイプラインでは手動アップグレードが必要ですが、同時にアーキテクチャの近代化やFabricの統合機能を導入するチャンスでもあります。 このパスでは、より多くの事前の計画と開発が必要ですが、保守性、パフォーマンス、コストに長期的な利点をもたらす可能性があります。
効果的にアップグレードするには、以下の手順に従ってください:
- 評価とインベントリ: パイプライン、データセット、リンクされたサービス、統合ランタイムなど、すべての ADF 資産をカタログ化します。 依存関係と使用パターンを特定します。
- 重複や未使用項目の特定:ADF内の未使用または冗長な項目を整理し、アップグレードとデータ統合環境を効率化します。
- ギャップの特定:パイプライン評価ツールを使い、コネクターのパリティやアクティビティパリティを確認し、ADFパイプラインとFabricパイプライン間のギャップを特定し、代替案を計画しましょう。
- 新機能の確認: データ移動決定ガイド と データ統合決定ガイド を使用して、ニーズに最適な Fabric ツールを決定します。
- 計画:各アイテムのアップグレードのベストプラクティスや、Fabricの強化された機能を最大限に活用するためのガイドラインを確認しましょう。
- ADFでグローバルパラメータを使う場合は、Fabricの変数ライブラリにアップグレードする計画を立ててください。 詳細な手順については、「ADF のグローバルパラメーターを Fabric 変数ライブラリに変換する」を参照してください。
- ADF移行:アップグレードの第一歩としてMicrosoft FabricにAzure Data Factoryのアイテムを追加し、単一のプラットフォーム内での段階的な移行を可能にすることを検討してください。
- 優先順位付け:ビジネスへの影響、複雑さ、アップグレードの容易さに基づいてパイプラインをランク付けしましょう。
- 可能な限り自動化:組み込みのアップグレード体験を使ってパイプラインを段階的に評価、アップグレード、検証し、その後に本番作業を移動させましょう。 詳細については、 アップグレード ツールを参照してください。
-
ツールの検討: 次のツールを使用して、レクリエーションを容易にします。
- Fabric テンプレートを、一般的なデータ統合シナリオを含むパイプラインの開始点として使用します。
- パラメーター化を使用して再利用可能なパイプラインを作成する
- Fabric Data Factory で Copilot を使用してパイプラインの作成を支援する
- CI/CD とバージョン管理に デプロイ パイプライン を使用する
-
手動アップグレード:他のアップグレード方法でサポートされていないシナリオは、Fabricで再構築します:
- 接続を再作成する: ADF のリンクされたサービスを置き換えるために Fabric で 接続 を設定する
- アクティビティの再作成: パイプラインで アクティビティ を設定し、サポートされていないアクティビティをFabricの代替手段に置き換えるか、Invoke パイプライン アクティビティを使用します。
- スケジュールと設定トリガー: ADF スケジュールに合わせて Fabric でスケジュールとイベント トリガーを再構築 する
- 徹底的にテスト:アップグレードされたパイプラインを期待される出力、パフォーマンスベンチマーク、コンプライアンス要件と照らして検証します。
アップグレードの例
ADF から Fabric への移行には、ユース ケースに応じて異なる戦略が必要になる場合があります。 このセクションでは、効果的な計画に役立つ一般的なアップグレードの道筋や考慮事項をまとめています。
- シナリオ 1: ADF パイプラインとデータ フロー
- シナリオ 2: CDC、SSIS、およびエアフローを使用した ADF
- シナリオ 3: 組み込みエクスペリエンスを使用したパイプラインのアップグレード
- シナリオ 4: Fabric ワークスペース内の ADF 項目
シナリオ 1: ADF パイプラインとデータ フロー
パイプラインやデータフローをFabricにアップグレードしてETL環境を近代化しましょう。 次の要素を計画します。
- リンクされたサービスを Fabric 接続として再作成するか、組み込みのアップグレード機能でリンクされたサービスを既存の Fabric 接続にマッピングしてください。
- グローバル パラメーターを変数ライブラリとして再作成します。
- パイプライン アクティビティでデータセット プロパティをインラインで定義します。
- SHIR(セルフホスト型統合ランタイム)をOPDG(オンプレミスデータゲートウェイ)に、VNet IRを仮想ネットワークデータゲートウェイに置き換えましょう。
- Mapping Data Flowを含む対象パイプラインについては、組み込みのアップグレード体験を利用して、Dataflow Gen2で対応するMapping Data FlowをMDF変換にアップグレードしてください。
- アップグレード前に MDF変換の制限、対応コネクタ、変換、認証方法、ネットワーク要件を確認してください。
- 現在のプレビューでサポートされていない機能を使用するデータフローのマッピングについては、サポートされていないコンポーネントを修正するか、Dataflow Gen2のPower Query、Fabric Warehouse SQL、Sparkノートブック、または他の適切なFabric機能を使って変換を再設計してください。
- Fabric の代替手段または Invoke パイプライン アクティビティを使用して、 サポートされていない ADF アクティビティを再構築します。 サポートされていないアクティビティは次のとおりです。
- Data Lake Analytics (U-SQL) は、非推奨の Azure サービスです。
- Get Metadata、パイプラインループ、If アクティビティを使って再構築できる検証アクティビティ
- M コードを再利用できるデータフローとして Fabric に完全に統合された Power Query
- Notebook、Jar、Python の各アクティビティは、Fabric の Databricks アクティビティで置き換えることができます。
- Fabric では、Hive、Pig、MapReduce、Spark、Streaming の各アクティビティを HDInsight アクティビティに置き換えることができます。
要件および手順については、「Azure Data Factory Mapping Data Flow pipelinesをFabricにアップグレードする」をご覧ください。
たとえば、ファイル パスと圧縮設定を含む ADF データセットの構成ページを次に示します。
Fabric の Data Factory のコピー アクティビティを次に示します。このアクティビティでは、圧縮とファイル パスがインラインで行われます。
シナリオ 2: CDC、SSIS、およびエアフローを使用した ADF
CDC を コピー ジョブ 項目として再作成します。 エアフローの場合は、FABRIC の Apache エアフロー オファリングに DAG をコピーします。 ADF パイプラインを使用して SSIS パッケージを実行し、Fabric から呼び出します。
シナリオ3:組み込みエクスペリエンスを使ったパイプラインアップグレード
このガイド付きで評価重視の体験は、準備状況の評価、互換性のギャップの特定、サポートパイプラインをスクリプトなしで段階的にFabricワークスペースにアップグレードするのに役立ちます。
組み込みのアップグレード体験は、マッピングデータフローを含む適格パイプラインもサポートしています。 対応するマッピング データ フローは、Dataflow Gen2 で MDF 変換にアップグレードされ、その変換ロジックと Spark ベースの実行モデルを保持します。 この機能は現在プレビュー段階です。
詳細については、以下を参照してください:
- Azure Data Factory パイプラインを Fabric にアップグレードする
- Azure Data Factory Mapping Data Flow pipelinesをFabricにアップグレード
シナリオ 4: Fabric ワークスペース内の ADF 項目
Fabric ワークスペース内の ADF ファクトリ全体をネイティブ項目として追加できます。 これにより、同じインターフェイス内で Fabric アーティファクトと共に ADF ファクトリを管理できます。 ADF UI は引き続き完全にアクセスできるため、Fabric ワークスペースから直接 ADF ファクトリ項目を監視、管理、編集できます。 ただし、パイプライン、アクティビティ、統合ランタイムの実行は、引き続き Azure リソース内で行われます。
この機能は、Fabricへの移行を目指す組織にとって有用であり、ADFとFabricの両方のリソースを統一したビューを提供し、アップグレードの管理や計画を簡素化します。
詳細については、「 Azure Data Factory を Fabric に取り込む」を参照してください。