Precisely Connect を使用してメインフレームデータをレプリケートする

Azure SQL Database

Azure SQL Managed Instance

Microsoft Fabric

Azure Databricks

Azure Event Hubs

この記事では、Precisely Connect を使用してメインフレームおよびミッドレンジシステムを Azure に移行する方法について説明します。 Connect では、変更データキャプチャ (CDC) を使用して、レガシシステムからAzureへのリアルタイムのデータレプリケーションが提供されます。

このソリューションは、ソースシステムのパフォーマンスへの影響を最小限に抑えながら、オンプレミスのメインフレーム環境と Azure の間でデータの整合性を提供します。このアーキテクチャでは、さまざまなメインフレームとミッドレンジのデータソースがサポートされ、Azure SQL Database、Azure Event Hubs、Microsoft Fabric などの Azure ターゲットにデータがレプリケートされます。

Apache®、Spark、および炎のロゴは、Apache Software Foundation の米国およびその他の国における登録商標です。これらのマークを使用することが、Apache Software Foundation による保証を意味するものではありません。

アーキテクチャ

このアーキテクチャの Visio ファイルをダウンロードします。

Workflow

次のワークフローは、前の図に対応しています。

Connect エージェントコンポーネントでは、メインフレームまたはミッドレンジのネイティブユーティリティを使用して変更ログがキャプチャされ、ログが一時ストレージにキャッシュされます。
メインフレームシステムの場合、メインフレーム上のパブリッシャーコンポーネントによってデータ移行が管理されます。
ミッドレンジシステムの場合、リスナーコンポーネントはパブリッシャーではなくデータ移行を管理します。リスナーは、Windowsまたは Linux マシン上に存在します。
パブリッシャーまたはリスナーは、Azure ExpressRoute経由でオンプレミスからAzureにデータを移動します。パブリッシャーまたはリスナーは、データの整合性を維持する各作業単位のトランザクションのコミットとロールバックを処理します。
Connect Replicator Engine によって、パブリッシャーまたはリスナーからデータがキャプチャされ、ターゲットに適用されます。データは並列処理のために分散されます。
Event Hubs は、ほぼリアルタイムの処理のために、Connect レプリケーターエンジンからリアルタイムのデータ変更を取り込みます。
Azure DatabricksまたはFabricは、取り込まれたデータを処理します。処理されたデータは、SQL Database、Azure Database for PostgreSQL フレキシブルサーバー、Azure Data Lake Storage、ダウンストリーム分析およびビジネスインテリジェンス (BI) 用のFabric lakehouses および warehouse などのAzureターゲットに格納されます。
Connect Controller Daemon では、要求を認証し、パブリッシャーまたはリスナーと Replicator Engine の間のソケット接続を確立します。

コンポーネント

このアーキテクチャでは、次のコンポーネントを使用します。

ネットワークと ID

Azure ExpressRoute は、接続プロバイダーからのプライベート接続を介してオンプレミスネットワークを Azure クラウドプラットフォームに拡張する接続サービスです。このアーキテクチャでは、ExpressRoute は、メインフレームデータを Azure にレプリケートするためのセキュリティで保護された高帯域幅接続を提供します。
Azure VPN Gateway は、パブリックインターネット経由で Azure 仮想ネットワークとオンプレミスの場所の間で暗号化されたトラフィックを送信する仮想ネットワークゲートウェイを作成できる仮想ネットワークゲートウェイサービスです。このアーキテクチャでは、プライベート接続が利用できない場合にメインフレームシステムを Azure に接続するために、ExpressRoute の代わりに VPN Gateway を使用できます。
Microsoft Entra ID は、オンプレミスの Active Directory と同期できる ID およびアクセス管理サービスです。このアーキテクチャでは、Microsoft Entra IDは、Azureリソースにアクセスする Connect コンポーネントの認証とアクセス制御を管理します。

Storage

Azure Database for MySQL は、オープンソースの MySQL データベースエンジンのコミュニティエディションに基づくマネージドリレーショナルデータベースサービスです。このアーキテクチャでは、Azure Database for MySQL は、レプリケートされたメインフレームデータのターゲットオプションを提供します。
Azure Database for PostgreSQLフレキシブルサーバーは、PostgreSQL データベースエンジンのコミュニティエディションに基づくフルマネージドのリレーショナルデータベースサービスです。このアーキテクチャでは、Azure Database for PostgreSQLフレキシブルサーバーはメインフレームデータレプリケーションのターゲットデータベースとして機能します。
Azure SQL Database は、Azure SQL ファミリの一部であるサービスとしてのプラットフォーム (PaaS) データベースエンジンです。クラウド用に構築され、マネージド PaaS と常緑 PaaS のすべての利点を提供します。 SQL Database は、パフォーマンスと持続性を最適化する、AI を活用した自動機能も備えています。サーバーレスコンピューティングとハイパースケールストレージオプションにより、リソースが必要に応じて自動的にスケーリングされます。このアーキテクチャでは、SQL Database は、Open Database Connectivity (ODBC) またはネイティブデータベース接続を介してレプリケートされたメインフレームデータを受信するためのターゲットデータベースとして機能します。
Azure SQL Managed Instance は、マネージド PaaS と常緑 PaaS のすべての利点を提供するクラウドデータベースサービスです。 SQL Managed Instance には、最新の SQL Server Enterprise Edition データベースエンジンとのほぼ完全な互換性があります。また、一般的なセキュリティの問題に対応するネイティブ仮想ネットワーク実装も提供されます。このアーキテクチャでは、SQL Managed Instance は、SQL Server の互換性を必要とするメインフレームデータのターゲットとして機能できます。
Azure Storage は、オブジェクト、ファイル、ディスク、キュー、テーブルのストレージを含むクラウドストレージソリューションです。サービスには、データの転送、共有、バックアップを行うためのハイブリッドストレージソリューションおよびツールが含まれます。このアーキテクチャでは、Storage は、レプリケートされたメインフレームデータと一時キャッシュ用のスケーラブルなストレージを提供します。
OneLake は、Fabric用の統合データレイクです。このアーキテクチャでは、OneLake は Event Hubs から取り込まれたデータのストレージとして機能します。 OneLake ショートカットを使用すると、データを複製することなく、Data Lake Storageまたはその他のクラウドストレージに格納されているデータにゼロコピーアクセスを提供できます。
Fabric は、データ移動、データ処理、インジェスト、変換、リアルタイムイベントルーティング、およびレポート作成を統合する分析プラットフォームです。このアーキテクチャでは、Fabric (Fabric 内のレイクハウス、ウェアハウス、または SQL Database) が、分析と BI レイヤーのリレーショナルストレージの宛先として機能します。

分析とレポート

Power BI は、組織全体で分析情報を提供できるビジネス分析ツールのグループです。 Power BI では、何百ものデータソースに接続し、データ準備を簡素化し、計画外の分析を推進できます。このアーキテクチャでは、Power BI は、レプリケートされたメインフレームデータを分析するための BI 機能を提供します。 Power BI は、統合分析のために Fabric とネイティブに統合されています。

監視

Azure Monitor は、クラウドおよびオンプレミス環境からのテレメトリを収集、分析、および操作するためのソリューションを提供する監視サービスです。機能には、Application Insights、Azure Monitor ログ、Log Analytics が含まれます。このアーキテクチャでは、Azure Monitorは、レプリケートされたメインフレームデータのターゲットとして使用されるAzure サービスとAzure データベースの監視と監視を提供します。

データインテグレーター

Azure Databricks は、オープンソースライブラリと統合される Spark に基づく統合分析プラットフォームです。分析ワークロードを実行するためのコラボレーションワークスペースを提供します。 Python、Scala、R、および SQL 言語を使用して、抽出、変換、読み込み (ETL) パイプラインを構築し、ジョブを調整できます。このアーキテクチャでは、Azure Databricks は、Azure データプラットフォームサービスで使用するために、レプリケートされたメインフレームデータを処理および変換します。
Fabricは、マネージド Spark コンピューティングプラットフォームで動作するエンドツーエンドの AI を利用した分析プラットフォームです。このアーキテクチャでは、Fabric Spark はレプリケートされたメインフレームデータを取り込んで変換し、ダウンストリームの Azure データプラットフォームと Fabric サービスによる分析に対応できるようにします。
Event Hubs は、1 秒あたり何百万ものイベントを処理できるリアルタイムデータインジェストサービスです。複数のソースからデータを取り込み、リアルタイム分析に使用し、データの量に基づいて Event Hubs をスケーリングできます。このアーキテクチャでは、Connect レプリケーターエンジンによって Connect から Event Hubs にリアルタイムの変更データがプッシュされ、ほぼリアルタイムの処理と分析のために取り込まれます。
Precisely Connect は、複数のソースからのデータを統合し、Azure へのリアルタイムレプリケーションを提供できるデータ統合プラットフォームです。これを使用すると、アプリケーションに変更を加えることなくデータをレプリケートできます。接続すると、ETL ジョブのパフォーマンスを向上させることもできます。このアーキテクチャでは、Connect はメインフレームデータをキャプチャしてリアルタイムでAzureに移行するプライマリデータレプリケーションエンジンとして機能します。 Azure Marketplaceからプロビジョニングできます。

シナリオの詳細

さまざまな戦略を使用して、メインフレームおよびミッドレンジシステムを Azure に移行できます。このプロセスでは、データ移行が重要な役割を果たします。組織は通常、メインフレームまたはミッドレンジシステムから Azure データプラットフォームへの最初の一括データ移行から始めます。最初の移行後、ハイブリッドクラウドアーキテクチャでは、メインフレームまたはミッドレンジシステムとAzure データプラットフォームの間で継続的なデータレプリケーションを確立して、データの同期を維持する必要があります。データの整合性を維持するために、ビジネスクリティカルなアプリケーションのリアルタイムレプリケーションが必要です。接続では、最初のバッチ移行と長期的なレプリケーションをサポートできます。リアルタイムの変更データには CDC を使用し、定期的な転送にはバッチ取り込みを使用します。

Precisely Connect では、次のメインフレームおよびミッドレンジデータソースがサポートされています。

Db2 for z/OS
Db2 for Linux、UNIX、および Windows (LUW)
Db2 for i (AS/400)
IBM Information Management System (IMS)
IBM Virtual Storage Access Method (VSAM)
ファイルとコピーブック

Connect は、データを消費型の形式に変換し、待機時間の短いインジェストのために Event Hubs にストリーム配信します。 Azure DatabricksまたはFabricは、取り込まれたデータをほぼリアルタイムで処理し、ダウンストリームの消費とAzureターゲット内のストレージを実現します。これらのターゲットには、SQL Database、Azure Database for PostgreSQL フレキシブルサーバー、Azure Database for MySQL フレキシブルサーバー、Data Lake Storage、Fabric（Fabric レイクハウス、Fabric ウェアハウス、または Fabric 内の SQL データベース）が含まれます。 CDC キャプチャから Event Hubs インジェスト、Databricks または Fabric 処理まで、このエンドツーエンドパイプラインを組み合わせることで、分析と運用ワークロードにほぼリアルタイムでデータを利用できます。また、Precisely Connect では、データ量と顧客の要件に基づくスケーラビリティもサポートされます。パフォーマンスに影響を与えたり、ネットワークに負担をかけたりせずにデータをレプリケートします。

考えられるユースケース

メインフレームおよびミッドレンジデータソースから Azure データプラットフォームへのデータレプリケーション
ハイブリッドクラウドアーキテクチャでは、メインフレームまたはミッドレンジシステムと Azure データプラットフォーム間のデータ同期
メインフレームまたはミッドレンジシステムからの運用データに基づく、Azure でのほぼリアルタイムの分析
ソースアプリケーションに変更を加えずにメインフレームまたはミッドレンジシステムからAzureにデータを移行する

考慮事項

これらの考慮事項では、Azure Well-Architected Framework の柱を実装します。これは、ワークロードの品質を向上させるために使用できる一連の基本原則です。詳細については、「 Well-Architected Framework」を参照してください。

[信頼性]

信頼性は、アプリケーションが顧客に対して行ったコミットメントを確実に満たすことができるのに役立ちます。詳細については、「信頼性設計レビューチェックリスト」を参照してください。

Azure Monitorを使用して、Event Hubs、Azure Databricks、およびターゲット Azure データベースの正常性とパフォーマンスを監視します。 Fabric のジョブを監視するには、Fabric の Monitor ハブを使用します。アラートを構成して、初期データの移行中と、ほぼリアルタイムで進行中のレプリケーションの両方でプロアクティブな管理を有効にします。

コストの最適化

コストの最適化では、不要な経費を削減し、運用効率を向上させる方法に重点を置いています。詳細については、「コストの最適化設計レビューチェックリスト」を参照してください。

データをAzureにレプリケートし、Azure サービスで処理する方が、メインフレームシステムでデータを維持するよりもコストが低くなる可能性があります。
コスト管理のコスト分析ビューを使用して支出を分析します。開始点については、Azure料金計算ツールの構成済みの見積もりを参照してください。ワークロードに合わせて調整します。
コストを最適化するために、Azure Databricksを使用して、自動スケールを使用してクラスターのサイズを変更できます。この方法は、固定構成よりも低コストになる可能性があります。
Azure Advisorは、パフォーマンスとコスト管理を最適化するための推奨事項を提供します。

パフォーマンス効率

パフォーマンス効率とは、ユーザーの要求を効率的に満たすためにスケーリングするワークロードの能力を指します。詳細については、「パフォーマンス効率のための設計レビューチェックリスト」を参照してください。

Precisely Connect では、データの量に基づいてスケーリングし、データレプリケーションを最適化できます。
Connect Replicator Engine では、並列処理のためにデータを分散できます。ワークロードの処理に基づいて分散を最適化することができます。
SQL Database サーバーレスは、ワークロードの量に基づいて自動的にスケーリングできます。
Event Hubs は、スループットユニットとパーティションの数に基づいてスケーリングできます。 CDC ワークロードの予想されるピークスループットに基づいてパーティション数を決定します。

貢献者

Microsoft では、この記事を保持しています。次の共同作成者がこの記事を書きました。

プリンシパル作成者:

Seetharaman Sankaran | シニアエンジニアリングアーキテクト

その他の共同作成者:

ギアニ・シンハ |シニアソリューションエンジニア

公開されていない LinkedIn プロフィールを見るには、LinkedIn にサインインしてください。

次のステップ

フィードバック

このページはお役に立ちましたか?