Replizieren von Mainframedaten mithilfe von Precisely Connect

Azure SQL-Datenbank
Verwaltete Azure SQL-Instanz
Microsoft Fabric
Azure Databricks
Azure Event Hubs

In diesem Artikel wird beschrieben, wie Sie Precisely Connect verwenden, um Mainframe- und Midrangesysteme zu Azure zu migrieren. Connect stellt die Echtzeitdatenreplikation von älteren Systemen zu Azure mithilfe der Änderungsdatenerfassung (Change Data Capture, CDC) bereit.

Diese Lösung bietet Datenkonsistenz zwischen lokalen Großrechnerumgebungen und Azure und minimiert gleichzeitig die Auswirkungen auf die Leistung des Quellsystems. Die Architektur unterstützt verschiedene Mainframe- und Midrange-Datenquellen und repliziert Daten in Azure-Ziele wie Azure SQL-Datenbank, Azure Event Hubs und Microsoft Fabric.

Apache®, Spark und das Flammenlogo sind entweder eingetragene Marken oder Marken der Apache Software Foundation in den USA und/oder anderen Ländern. Die Verwendung dieser Markierungen impliziert kein Endorsement durch die Apache Software Foundation.

Aufbau

Diagramm, das eine Architektur für die Migration von Mainframe- und Midrange-Systemen zu Azure zeigt.

Laden Sie eine Visio-Datei dieser Architektur herunter.

Arbeitsablauf

Der folgende Workflow entspricht dem vorherigen Diagramm:

  1. Eine Connect-Agent-Komponente erfasst Änderungsprotokolle mithilfe nativer Mainframe- oder Midrangehilfsprogramme und speichert die Protokolle im temporären Speicher zwischen.
  2. Bei Mainframesystemen verwaltet eine Herausgeberkomponente auf dem Mainframe die Datenmigration.
  3. Bei Midrange-Systemen verwaltet eine Listener-Komponente die Datenmigration anstelle eines Herausgebers. Der Listener befindet sich auf einem Windows- oder Linux-Computer.
  4. Der Herausgeber oder Listener verschiebt die Daten aus der lokalen Umgebung über Azure ExpressRoute zu Azure. Der Publisher oder Listener übernimmt das Commit und Rollback von Transaktionen für jede Arbeitseinheit, wodurch die Datenintegrität gewahrt bleibt.
  5. Die Connect Replicator-Engine erfasst die Daten vom Herausgeber oder Listener und wendet sie auf das Ziel an. Sie verteilt Daten für die parallele Verarbeitung.
  6. Event Hubs nimmt Echtzeitdatenänderungen von der Connect Replicator Engine zur Verarbeitung nahezu in Echtzeit auf.
  7. Azure Databricks oder Fabric verarbeitet die aufgenommenen Daten. Die verarbeiteten Daten werden in Azure-Zielen wie SQL-Datenbank, Azure Database for PostgreSQL Flexible Server, Azure Data Lake Storage oder Fabric lakehouses und warehouses für nachgelagerte Analysen und Business Intelligence (BI) gespeichert.
  8. Der Connect Controller-Daemon authentifiziert die Anforderung und stellt die Socketverbindung zwischen dem Herausgeber oder Listener und der Replicator-Engine her.

Komponenten

Diese Architektur verwendet die folgenden Komponenten.

Netzwerk und Identität

  • Azure ExpressRoute ist ein Konnektivitätsdienst, der Ihre lokalen Netzwerke über eine private Verbindung von einem Konnektivitätsanbieter auf die Azure-Cloudplattform erweitert. In dieser Architektur bietet ExpressRoute eine sichere, hochbandbreite Verbindung zum Replizieren von Mainframedaten in Azure.

  • Azure VPN Gateway ist ein virtueller Netzwerkgatewaydienst, mit dem Sie virtuelle Netzwerkgateways erstellen können, die verschlüsselten Datenverkehr zwischen einem virtuellen Azure-Netzwerk und einem lokalen Standort über das öffentliche Internet senden. In dieser Architektur können Sie VPN-Gateway als Alternative zu ExpressRoute verwenden, um Großrechnersysteme mit Azure zu verbinden, wenn eine private Verbindung nicht verfügbar ist.

  • Microsoft Entra ID ist ein Identitäts- und Zugriffsverwaltungsdienst, der mit lokalem Active Directory synchronisiert werden kann. In dieser Architektur verwaltet Microsoft Entra ID die Authentifizierungs- und Zugriffssteuerung für Connect-Komponenten, die auf Azure Ressourcen zugreifen.

Lagerung

  • Azure Database for MySQL ist ein verwalteter relationaler Datenbankdienst, der auf der Community-Edition des Open-Source-MySQL-Datenbankmoduls basiert. In dieser Architektur bietet Azure Database for MySQL eine Zieloption für replizierte Mainframedaten.

  • Azure Database for PostgreSQL Flexible Server ist ein vollständig verwalteter relationaler Datenbankdienst, der auf der Community-Edition des PostgreSQL-Datenbankmoduls basiert. In dieser Architektur dient Azure Database for PostgreSQL Flexible Server als Zieldatenbank für die Datenreplikation von Mainframe-Daten.

  • Azure SQL-Datenbank ist eine Plattform als PaaS-Datenbankmodul, das Teil der Azure SQL-Familie ist. Es ist für die Cloud entwickelt und bietet alle Vorteile eines verwalteten PaaS, das immer aktuell ist. SQL-Datenbank bietet außerdem KI-gestützte, automatisierte Features zur Optimierung der Leistung und Dauerhaftigkeit. Serverloses Computing und Hyperscale-Speicheroptionen skalieren Ressourcen bei Bedarf automatisch. In dieser Architektur dient SQL-Datenbank als Zieldatenbank zum Empfangen replizierter Mainframedaten über Open Database Connectivity (ODBC) oder systemeigene Datenbankverbindungen.

  • Azure SQL Managed Instance ist ein Clouddatenbankdienst, der alle Vorteile eines verwalteten und evergreen PaaS bietet. Sql Managed Instance verfügt über nahezu vollständige Kompatibilität mit dem neuesten SQL Server Enterprise Edition-Datenbankmodul. Er bietet auch eine native Implementierung virtueller Netzwerke, die Lösungen für allgemeine Sicherheitsprobleme bereitstellt. In dieser Architektur kann sql Managed Instance als Ziel für Großrechnerdaten dienen, die SQL Server-Kompatibilität erfordern.

  • Azure Storage ist eine Cloudspeicherlösung, die Objekt-, Datei-, Datenträger-, Warteschlangen- und Tabellenspeicher bietet. Zu den Diensten gehören Hybridspeicherlösungen und Tools für das Übertragen, Freigeben und Sichern von Daten. In dieser Architektur bietet Storage skalierbaren Speicher für replizierte Mainframedaten und temporäres Zwischenspeichern.

  • OneLake ist der einheitliche Datensee für Fabric. In dieser Architektur dient OneLake als Speicher für Daten, die von Event Hubs aufgenommen werden. Verwenden Sie OneLake-Tastenkombinationen, um den Zero-Copy-Zugriff auf Daten bereitzustellen, die in Data Lake Storage oder einem anderen Cloudspeicher gespeichert sind, ohne Daten zu duplizieren.

  • Fabric ist eine Analyseplattform, die Datenbewegungen, Datenverarbeitung, Erfassung, Transformation, Echtzeitereignisrouting und Berichtserstellung vereint. In dieser Architektur dient Fabric (Lakehouses, Warehouses oder SQL Database within Fabric) als relationales Speicherziel für Analysen und die BI-Ebene.

Analysen und Berichte

  • Power BI ist eine Gruppe von Business Analytics-Tools, die Einblicke in Ihre gesamte Organisation liefern können. Power BI kann eine Verbindung mit Hunderten von Datenquellen herstellen, die Datenvorbereitung vereinfachen und ungeplante Analysen fördern. In dieser Architektur bietet Power BI BI-Funktionen zum Analysieren replizierter Mainframe-Daten. Power BI ist nativ in Fabric für einheitliche Analysen integriert.

Überwachung

  • Azure Monitor ist ein Überwachungsdienst, der eine Lösung zum Sammeln, Analysieren und Handeln von Telemetrie aus Cloud- und lokalen Umgebungen bietet. Zu den Features gehören Application Insights, Azure Monitor Logs und Log Analytics. In dieser Architektur bietet Azure Monitor Überwachung und Observierbarkeit für die Azure Dienste und Azure Datenbanken, die als Ziele für die replizierten Mainframedaten verwendet werden.

Datenintegratoren

  • Azure Databricks ist eine einheitliche Analyseplattform, die auf Spark basiert, die in Open-Source-Bibliotheken integriert wird. Es stellt einen Arbeitsbereich für die Zusammenarbeit für die Ausführung von Analyseworkloads bereit. Sie können Python-, Scala-, R- und SQL-Sprachen verwenden, um Extrakt-, Transformations- und Ladepipelinen und Orchestrierungsaufträge zu erstellen. In dieser Architektur verarbeitet und transformiert Azure Databricks die replizierten Mainframedaten für den Verbrauch durch Azure Data Platform Services.

  • Fabric ist eine end-to-end KI-basierte Analyseplattform, die auf einer verwalteten Spark Compute-Plattform arbeitet. In dieser Architektur erfasst und transformiert Fabric Spark replizierte Mainframedaten, um sie für die Nutzung durch nachgeschaltete Azure-Datenplattform und Fabric-Dienste vorzubereiten.

  • Event Hubs ist ein Echtzeitdatenaufnahmedienst, der Millionen von Ereignissen pro Sekunde verarbeiten kann. Sie können Daten aus mehreren Quellen aufnehmen und für Echtzeitanalysen verwenden und Event Hubs basierend auf dem Datenvolumen skalieren. In dieser Architektur überträgt die Connect Replicator Engine Änderungsdaten in Echtzeit von Connect an Event Hubs, wo sie für die Verarbeitung und Analyse nahezu in Echtzeit aufgenommen werden.

  • Precisely Connect ist eine Plattform für Datenintegration, die Daten aus mehreren Quellen integrieren und eine Echtzeitreplikation zu Azure ermöglichen kann. Sie können es verwenden, um Daten zu replizieren, ohne Änderungen an Ihrer Anwendung vorzunehmen. Connect kann auch die Leistung von ETL-Aufträgen verbessern. In dieser Architektur dient Connect als primäres Datenreplikationsmodul, das Mainframedaten erfasst und in Echtzeit zu Azure migriert. Sie können sie aus dem Azure Marketplace bereitstellen.

Details zum Szenario

Sie können verschiedene Strategien anwenden, um Mainframe- und Midrangesysteme zu Azure zu migrieren. Datenmigration spielt in diesem Prozess eine wesentliche Rolle. Organisationen beginnen in der Regel mit einer anfänglichen Massendatenmigration von Mainframe- oder Midrange-Systemen zur Azure Datenplattform. Nach der ersten Migration müssen Sie in einer hybriden Cloudarchitektur eine fortlaufende Datenreplikation zwischen Großrechner- oder Midrange-Systemen und der Azure-Datenplattform einrichten, um die Daten synchron zu halten. Um die Integrität der Daten aufrechtzuerhalten, benötigen Sie für unternehmenskritische Anwendungen Echtzeitreplikation. Connect kann die anfängliche Batchmigration und die langfristige Replikation unterstützen. Verwenden Sie CDC für Änderungen in Echtzeit oder Batch-Erfassung für periodische Übertragungen.

Precisely Connect unterstützt die folgenden Mainframe- und Midrange-Datenquellen:

  • Db2 für z/OS
  • Db2 für Linux, UNIX und Windows (LUW)
  • Db2 für i (AS/400)
  • IBM Information Management System (IMS)
  • IBM Virtual Storage Access-Methode (VSAM)
  • Dateien und Kopierbücher

Connect wandelt die Daten in ein nutzbares Format um und streamt sie zur latenzarmen Erfassung an Event Hubs. Azure Databricks oder Fabric verarbeitet dann die eingespeisten Daten nahezu in Echtzeit zur nachgelagerten Nutzung und Speicherung in Azure-Zielen. Diese Ziele umfassen SQL Database, Azure Database for PostgreSQL Flexible Server, Azure Database for MySQL Flexible Server, Data Lake Storage und Fabric (Fabric Lakehouses, Fabric Warehouses oder SQL-Datenbanken in Fabric). Gemeinsam ermöglicht diese End-to-End-Pipeline – von der CDC-Erfassung über die Aufnahme in Event Hubs bis hin zur Verarbeitung in Databricks oder Fabric – eine Datenverfügbarkeit nahezu in Echtzeit für Analyse- und operative Workloads. Precisely Connect unterstützt auch die Skalierbarkeit auf Grundlage des Datenvolumens und der Kundenanforderungen. Es repliziert Daten, ohne die Leistung zu beeinträchtigen oder das Netzwerk zu belasten.

Mögliche Anwendungsfälle

  • Datenreplikation von Mainframe- und Midrange-Datenquellen zur Azure-Datenplattform
  • In einer hybriden Cloudarchitektur erfolgt die Datensynchronisation zwischen Großrechner- oder Midrange-Systemen und der Azure-Datenplattform.
  • Nahezu echtzeitbasierte Analysen auf Azure basierend auf Betriebsdaten von Mainframe- oder Midrange-Systemen
  • Migration von Daten von Mainframe- oder Midrange-Systemen zu Azure, ohne dass Änderungen an den Quellanwendungen erforderlich sind

Überlegungen

Diese Überlegungen bilden die Säulen des Azure Well-Architected Framework, einer Reihe von Leitprinzipien, die Sie zur Verbesserung der Qualität eines Workloads verwenden können. Weitere Informationen finden Sie unter Well-Architected Framework.

Zuverlässigkeit

Zuverlässigkeit trägt dazu bei, dass Ihre Anwendung die Verpflichtungen erfüllen kann, die Sie für Ihre Kunden vornehmen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für Zuverlässigkeit.

Verwenden Sie Azure Monitor, um den Status und die Leistung von Event Hubs, Azure Databricks und Azure Datenbanken zu überwachen. Verwenden Sie den Monitorhub in Fabric, um Fabric Aufträge zu überwachen. Konfigurieren Sie Warnungen, um die proaktive Verwaltung sowohl bei der anfänglichen Datenmigration als auch bei der laufenden Echtzeitreplikation zu ermöglichen.

Kostenoptimierung

Die Kostenoptimierung konzentriert sich auf Möglichkeiten, unnötige Ausgaben zu reduzieren und die betriebliche Effizienz zu verbessern. Weitere Informationen finden Sie unter Design Review-Checkliste für die Kostenoptimierung.

  • Die Replikation von Daten nach Azure und ihre Verarbeitung in Azure-Diensten kann kostengünstiger sein als die Speicherung von Daten in einem Mainframe-System.
  • Verwenden Sie die Kostenanalyseansicht in "Kostenverwaltung", um Ausgaben zu analysieren. Einen Ausgangspunkt finden Sie in der vorkonfigurierten Schätzung im Azure Preisrechner. Passen Sie sie an Ihre Workload an.
  • Um Kosten zu optimieren, können Sie Azure Databricks verwenden, um die Größe Ihres Clusters über die automatische Skalierung zu ändern. Dieser Ansatz kann weniger teuer sein als eine feste Konfiguration.
  • Azure Advisor bietet Empfehlungen zur Optimierung der Leistung und des Kostenmanagements.

Leistungseffizienz

Die Leistungseffizienz bezieht sich auf die Fähigkeit Ihrer Workload, Benutzeranforderungen effizient zu erfüllen. Weitere Informationen finden Sie unter Prüfliste zur Entwurfsüberprüfung für die Leistungseffizienz.

  • "Precisely Connect kann basierend auf dem Datenvolumen skaliert werden und die Datenreplikation optimieren."
  • Die Connect Replicator-Engine kann Daten für die parallele Verarbeitung verteilen. Sie können die Verteilung basierend auf der Erfassung von Workloads ausgleichen.
  • Die serverlose SQL-Datenbank kann basierend auf dem Volumen der Workloads automatisch skaliert werden.
  • Event Hubs kann basierend auf Durchsatzeinheiten und der Anzahl der Partitionen skaliert werden. Ermitteln Sie die Partitionsanzahl basierend auf dem erwarteten Spitzendurchsatz Ihrer CDC-Workload.

Beitragende

Microsoft verwaltet diesen Artikel. Die folgenden Mitwirkenden haben diesen Artikel geschrieben.

Hauptautor:

Andere Mitwirkende:

Um nicht-öffentliche LinkedIn-Profile anzuzeigen, melden Sie sich bei LinkedIn an.

Nächste Schritte