Azure Data Factory
Azure Databricks
Microsoft Fabric
ソリューションのアイデア
この記事ではソリューションのアイデアについて説明します。 クラウド アーキテクトは、このガイダンスを使用して、このアーキテクチャの一般的な実装の主要なコンポーネントを視覚化できます。 ワークロードの特定の要件に適合する、適切に設計されたソリューションを設計するための出発点として、この記事を使用してください。
この記事では、メインフレームのモダン化中にデータをレプリケートしてAzureに同期する方法について説明します。 データ ストア、ツール、サービスなど、このソリューションのアイデアの技術的な側面について説明します。 メインフレームおよびミッドレンジシステムは、オンプレミスのアプリケーションデータベースを定期的に更新します。 一貫性を維持するために、このソリューションでは最新のデータを Azure データベースと同期します。
アーキテクチャ
このアーキテクチャの Visio ファイルをダウンロードします。
Workflow
次のワークフローは、上記のダイアグラムに対応しています。
Azure Data Factory動的パイプラインは、データ抽出やデータ読み込みを含むアクティビティを調整します。 パイプライン アクティビティをスケジュールしたり、手動で開始したり、自動的にトリガーしたりできます。
パイプラインは、タスクを実行するアクティビティをグループ化します。 データを抽出するために、Azure Data Factory はオンプレミス テーブルごとに 1 つのパイプラインを動的に作成します。 その後、Azure でデータをレプリケートするときに、超並列実装を使用できます。 要件に基づいてレプリケーション レベルを構成します。
完全なレプリケーション。 データベース全体をレプリケートし、ターゲット Azure データベースのデータ型とフィールドを変更します。
部分レプリケーション、差分レプリケーション、または増分レプリケーション。 ソース テーブルのウォーターマーク列を使用して、更新された行を Azure データベースと同期します。 これらの列には、連続的に増加するキー、またはテーブルの最終更新を示すタイムスタンプが含まれます。
Azure Data Factory では、次の変換タスクにもパイプラインが使用されます。
データ型の変換
データ操作
データの書式設定
列の派生
データのフラット化
データの並べ替え
データのフィルター処理
Db2 zOS、Db2 for i、Db2 LUW などのオンプレミス・データベースは、アプリケーション・データを保管します。
セルフホステッド統合ランタイム (IR) は、Azure Data Factory がアクティビティの実行とディスパッチに使用する環境を提供します。
Azure Data Lake Storage Gen2 と Azure Blob Storage はデータをステージングします。 この手順は、複数のソースからデータを変換およびマージするために必要な場合があります。
データの準備のために、Azure Data Factory は Azure Databricks、カスタム アクティビティ、パイプライン データフローを使用して、データを迅速かつ効果的に変換します。
Azure Data Factory は、次のリレーショナルおよび非リレーショナル Azure データベースにデータを読み込みます。
Azure SQL
Azure Database for PostgreSQL
Azure Cosmos DB
Azure Data Lake Storage
Azure Database for MySQL
SQL Server Integration Services (SSIS) は、データの抽出、変換、および読み込みを行います。
オンプレミス データ ゲートウェイは、ローカルのオンプレミス データ ソースとAzure サービスの間のブリッジとして機能するローカル Windows クライアント アプリケーションです。
Microsoft Fabric データ パイプラインは、Db2 からAzureストレージとデータベースへのデータ インジェストを実行するアクティビティの論理的なグループです。
ソリューションでほぼリアルタイムのレプリケーションが必要な場合は、Microsoft以外のツールを使用できます。
これらのツールがオンプレミスの Db2 データベースにアクセスできない場合は、データを抽出し、抽出したファイルをターゲット データベースに読み込むカスタム移行プロセスを構築します。
コンポーネント
このセクションでは、データの最新化、データ同期、およびデータ統合時に使用できるその他のツールについて説明します。
データ インテグレーター
Azure Data Factory
は、ハイブリッド データ統合サービスです。 このフル マネージドのサーバーレス ソリューションを使用して、抽出、変換、読み込み (ETL) ワークフローと抽出、読み込み、変換 (ELT) ワークフローを作成、スケジュール、調整できます。 Fabricは、データ エンジニアリング、データ ウェアハウス、データ統合、リアルタイム分析、ビジネス インテリジェンスの分析に時間を短縮するエンタープライズ分析プラットフォームです。 Fabricは、OneLake の集中ストレージを使用するサービスとしてのソフトウェア (SaaS) ソリューションです。 Fabricは、次のテクノロジとサービスを組み合わせたものです。
エンタープライズ データ ウェアハウス用の SQL テクノロジは、オープンな Delta 形式を使用する管理されたトランザクション ウェアハウスである Fabric Data Warehouse を使用して利用できます。
Apache Spark の組み込み機能を含む Fabric Data Engineering を使用して、大規模なデータ エンジニアリングと機械学習を利用できます。
ほぼリアルタイムの分析は、イベントハウスとイベントストリームを含むFabricリアルタイム インテリジェンスを使用して利用できます。
ETL および ELT ワークフローは、パイプライン、データフロー Gen2、およびハイブリッドおよびオンプレミス ゲートウェイをサポートするさまざまなコネクタを含む、Fabric Data Factory を使用して使用できます。
Fabricは、Power BIとネイティブに統合され、Azure Cosmos DBやAzure Machine LearningなどのAzure サービスと統合されています。
SSIS は、エンタープライズ レベルのデータ統合および変換ソリューションのプラットフォームです。 SSIS を使用して、データの管理、レプリケート、クレンジング、およびマイニングを行います。
Azure Databricksは、Spark オープンソースの分散処理システムに基づくデータ分析プラットフォームです。 Azure Databricksは、Azure クラウド プラットフォーム向けに最適化されています。 分析ワークフローでは、Azure Databricks は複数のソースからデータを読み取り、Spark を使用して分析情報を提供します。
データ ストレージ
Azure SQL Databaseは、フル マネージドのクラウドベースのサービスとしてのプラットフォーム (PaaS) です。 SQL Database には、パフォーマンスと持続性を最適化する AI を利用した自動化された機能が用意されています。 サーバーレスコンピューティングと ハイパースケールストレージのオプション は、リソースをオンデマンドで自動的にスケーリングします。
Azure SQL Managed Instanceは、SQL Server エンジンの互換性を備えた、フル マネージドでインテリジェントでスケーラブルなクラウド データベース サービスです。 SQL Managed Instance を使用して、既存のアプリを大規模に最新化します。
SQL Server on Azure Virtual Machinesは、コードと互換性のあるSQL Serverワークロードをクラウドで再ホストします。 SQL Server on Azure Virtual Machinesでは、SQL Serverのパフォーマンス、セキュリティ、および分析と、Azureの柔軟性とハイブリッド接続が組み合わせられます。 既存のアプリを移行したり、新しいアプリをビルドしたりするには、SQL Server on Azure Virtual Machinesを使用します。
Azure Database for PostgreSQL は、オープンソース PostgreSQL データベース エンジンのコミュニティ エディションに基づくフル マネージドリレーショナル データベース サービスです。 Azure Database for PostgreSQLは、スケーラブルなアプリケーション イノベーション機能を提供します。
Azure Cosmos DB は、グローバルに分散された マルチモデル データベースです。 Azure Cosmos DBを使用して、ソリューションが複数の地理的リージョンにわたってスループットとストレージを弾力的かつ独立してスケーリングできることを確認します。
Data Lake Storageは、大量のネイティブデータと生データを保持するストレージ リポジトリです。 Data Lake Store は、テラバイトとペタバイトのデータにスケーリングするために最適化されています。 通常、データは複数の異種ソースから取得され、構造化、半構造化、または非構造化にすることができます。 Data Lake Storage Gen2 は、Data Lake Storage Gen1 の機能と Blob Storage を組み合わせたものです。 Data Lake Storage Gen2は、ファイル システムのセマンティクス、ファイル レベルのセキュリティ、およびスケールを提供します。 また、Blob Storage の階層型ストレージ、高可用性、ディザスター リカバリー機能も提供します。
Azure Database for MySQLは、オープンソースの MySQL データベース エンジンのコミュニティ エディションに基づくフル マネージドのリレーショナル データベース サービスです。
その他のツール
分散リレーショナル データベース アーキテクチャ (DRDA) の Microsoft サービスは 、 Host Integration Server のコンポーネントです。 DRDA のMicrosoft サービスは、DRDA アプリケーション リクエスター (AR) クライアントが使用するアプリケーション サーバーです。 DRDA AR クライアントの例としては、IBM Db2 for z/OS や Db2 for i5/OS などがあります。 これらのクライアントは、アプリケーション・サーバーを使用して Db2 SQL ステートメントを変換し、SQL Server 上で実行します。
SQL Server Migration Assistant (SSMA) for Db2 では、Db2 から Microsoft データベース サービスへの移行が自動化されます。 SSMA for Db2 ツールは、仮想マシン上で実行されます。 Db2 データベース・オブジェクトをSQL Serverデータベース・オブジェクトに変換し、それらのオブジェクトをSQL Serverに作成します。
代替案
このアーキテクチャでは、メインフレームデータのレプリケーションと同期のオプションとAzureデータベースターゲットを示します。 次のAzure SQLターゲットにレプリケートして同期することもできます。
SQL Managed Instanceは、フル マネージドのクラウド データベース サービスです。 SQL Managed Instanceは、SQL Server エンジンと互換性があります。 SQL Managed Instanceを使用して、大規模なアプリを最新化します。
SQL Server on Azure Virtual Machinesコードを変更せずに、クラウド内のSQL Serverワークロードをリホストします。 SQL Server on Azure Virtual Machinesでは、SQL Serverのパフォーマンス、セキュリティ、および分析と、Azureの柔軟性とハイブリッド接続が組み合わせられます。 既存のアプリを移行したり、新しいアプリをビルドしたりするには、SQL Server on Azure Virtual Machinesを使用します。
シナリオの詳細
データの可用性と整合性は、メインフレームとミッドレンジの最新化に不可欠です。 データ優先戦略は、Azureへの移行中にデータをそのまま使用できるようにするのに役立ちます。 最新化中の中断を防ぐには、データをすばやくレプリケートするか、オンプレミスのデータを Azure データベースと同期することが必要になる場合があります。
このソリューションは次の内容を対象とします。
抽出。 ソース データベースに接続し、ソース データベースからデータを抽出します。
変換（以下を含む）:
ステージング： データを元の形式で一時的に格納し、変換用に準備します。
準備。 ターゲット データベースの要件を満たすマッピング ルールを使用して、データを変換および操作します。
読み込み。 ターゲット データベースにデータを挿入します。
考えられるユース ケース
このソリューションは、次のデータ レプリケーションと同期のシナリオで使用します。
Azureを使用してすべての問い合わせチャネルにサービスを提供するコマンド クエリ責任分離アーキテクチャ
オンプレミス アプリケーションと並列リホストまたは再設計されたアプリケーションをテストする環境
段階的な修復または最新化を必要とする密結合アプリケーションを使用するオンプレミス システム
Recommendations
次の推奨事項は、ほとんどのシナリオに適用できます。 これらの推奨事項には、オーバーライドする特定の要件がない限り、従ってください。
Azure Data Factoryを使用してデータを抽出する場合は、コピー アクティビティのパフォーマンスを調整します。 Fabric Data Factory を使用してデータを抽出する場合は、パイプラインのパフォーマンスを最適化するために並列処理、バッチ サイズ、コネクタの設定を調整します。 詳細については、「パイプラインの 概要 」と「 コネクタの概要」を参照してください。
貢献者達
Microsoft では、この記事を保持しています。 この記事を書いたのは、以下の寄稿者です。
主要著者:
- ロドリゴ・ロドリゲス |AI と Quantum のシニア クラウド ソリューション アーキテクト
公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。