Mainframe-gegevens repliceren met behulp van Nauwkeurig verbinden

Azure SQL-database

Azure SQL Managed Instance

Microsoft Fabric

Azure Databricks

Azure Event Hubs

In dit artikel wordt beschreven hoe u Precisely Connect gebruikt om mainframe- en midrangesystemen naar Azure te migreren. Connect biedt realtime gegevensreplicatie van verouderde systemen naar Azure met behulp van CDC (Change Data Capture).

Deze oplossing biedt gegevensconsistentie tussen on-premises mainframe-omgevingen en Azure, terwijl het effect op de prestaties van het bronsysteem wordt geminimaliseerd. De architectuur ondersteunt verschillende mainframe- en midrangegegevensbronnen en repliceert gegevens naar Azure-doelen zoals Azure SQL Database, Azure Event Hubs en Microsoft Fabric.

Apache®, Spark en het vlamlogo zijn geregistreerde handelsmerken of handelsmerken van de Apache Software Foundation in de Verenigde Staten en/of andere landen. Er wordt geen goedkeuring door De Apache Software Foundation geïmpliceerd door het gebruik van deze markeringen.

Architectuur

Een Visio-bestand van deze architectuur downloaden.

Werkproces

De volgende werkstroom komt overeen met het voorgaande diagram:

Een Connect-agentonderdeel legt wijzigingslogboeken vast met behulp van mainframe of midrange systeemeigen hulpprogramma's en plaatst de logboeken tijdelijk in de cacheopslag.
Voor mainframe-systemen beheert een uitgeveronderdeel in het mainframe de gegevensmigratie.
Voor middelgrote systemen beheert een listeneronderdeel gegevensmigratie in plaats van een uitgever. De listener bevindt zich op een Windows- of Linux-computer.
De uitgever of listener verplaatst de gegevens van on-premises naar Azure via Azure ExpressRoute. De uitgever of afluisteraar verwerkt het bevestigen en de rollback van transacties voor elke werkeenheid, wat de integriteit van gegevens behoudt.
De Connect Replicator Engine legt de gegevens van de uitgever of listener vast en past deze toe op het doel. Het distribueert gegevens voor parallelle verwerking.
Event Hubs neemt realtime gegevenswijzigingen op van de Connect Replicator Engine voor bijna realtime verwerking.
Azure Databricks of Fabric verwerkt de opgenomen gegevens. De verwerkte gegevens worden opgeslagen in Azure-doelen zoals SQL Database, Azure Database for PostgreSQL Flexible Server, Azure Data Lake Storage of Fabric lakehouses en datawarehouses voor verdere analyses en business intelligence (BI).
De Connect Controller Daemon verifieert de aanvraag en brengt de socketverbinding tot stand tussen de uitgever of listener en de Replicator-engine.

Onderdelen

Deze architectuur maakt gebruik van de volgende onderdelen.

Netwerken en identiteit

Azure ExpressRoute is een connectiviteitsservice die uw on-premises netwerken uitbreidt naar het Azure-cloudplatform via een privéverbinding van een connectiviteitsprovider. In deze architectuur biedt ExpressRoute een veilige, hoge bandbreedte-verbinding voor het repliceren van mainframegegevens naar Azure.
Azure VPN-gateway is een virtuele netwerkgatewayservice waarmee u virtuele netwerkgateways kunt maken die versleuteld verkeer verzenden tussen een virtueel Azure-netwerk en een on-premises locatie via het openbare internet. In deze architectuur kunt u VPN Gateway gebruiken als alternatief voor ExpressRoute om mainframesystemen te verbinden met Azure wanneer er geen privéverbinding beschikbaar is.
Microsoft Entra ID is een service voor identiteits- en toegangsbeheer die kan worden gesynchroniseerd met on-premises Active Directory. In deze architectuur beheert Microsoft Entra ID verificatie en toegangsbeheer voor connect-onderdelen die toegang hebben tot Azure resources.

Opslag

Azure Database for MySQL is een beheerde relationele databaseservice die is gebaseerd op de communityversie van de opensource MySQL-database-engine. In deze architectuur biedt Azure Database for MySQL een doeloptie voor gerepliceerde mainframegegevens.
Azure Database for PostgreSQL Flexible Server is een volledig beheerde relationele databaseservice op basis van de community-editie van de PostgreSQL-database-engine. In deze architectuur fungeert Azure Database for PostgreSQL Flexibele server als doeldatabase voor de replicatie van mainframegegevens.
Azure SQL Database is een PaaS-database-engine (Platform as a Service) die deel uitmaakt van de Azure SQL-serie. Het is gebouwd voor de cloud en biedt alle voordelen van een beheerde en groenblijvende PaaS. SQL Database biedt ook geautomatiseerde ai-functies die de prestaties en duurzaamheid optimaliseren. Serverloze reken- en hyperscale-opslagopties schalen automatisch resources op verzoek. In deze architectuur fungeert SQL Database als doeldatabase voor het ontvangen van gerepliceerde mainframegegevens via ODBC (Open Database Connectivity) of systeemeigen databaseverbindingen.
Azure SQL Managed Instance is een clouddatabaseservice die alle voordelen biedt van een beheerde en groenblijvende PaaS. SQL Managed Instance heeft bijna volledige compatibiliteit met de nieuwste SQL Server Enterprise Edition-database-engine. Het biedt ook een systeemeigen implementatie van een virtueel netwerk waarmee veelvoorkomende beveiligingsproblemen worden opgelost. In deze architectuur kan SQL Managed Instance fungeren als doel voor mainframe-gegevens waarvoor SQL Server-compatibiliteit is vereist.
Azure Storage is een cloudopslagoplossing die object-, bestands-, schijf-, wachtrij- en tabelopslag omvat. Services omvatten hybride opslagoplossingen en hulpprogramma's voor het overdragen, delen en maken van back-ups van gegevens. In deze architectuur biedt Storage schaalbare opslag voor gerepliceerde mainframegegevens en tijdelijke caching.
OneLake is de geïntegreerde data lake voor Fabric. In deze architectuur fungeert OneLake als opslag voor gegevens die zijn opgenomen vanuit Event Hubs. Gebruik OneLake-snelkoppelingen om zero-copy-toegang te bieden tot gegevens die zijn opgeslagen in Data Lake Storage of andere cloudopslag zonder gegevens te dupliceren.
Fabric is een analyseplatform waarmee gegevensverplaatsing, gegevensverwerking, opname, transformatie, realtime gebeurtenisroutering en rapportbouw worden gecombineerd. In deze architectuur fungeert Fabric (lakehouses, magazijnen of SQL Database binnen Fabric) als de relationele opslagbestemming voor analyse en de BI-laag.

Analyse en rapportage

Power BI is een groep hulpprogramma's voor bedrijfsanalyse die inzichten in uw hele organisatie kan bieden. Power BI kan verbinding maken met honderden gegevensbronnen, het voorbereiden van gegevens vereenvoudigen en ongeplande analyse stimuleren. In deze architectuur biedt Power BI bi-mogelijkheden voor het analyseren van gerepliceerde mainframegegevens. Power BI is systeemeigen geïntegreerd met Fabric voor geïntegreerde analyses.

Controleren

Azure Monitor is een bewakingsservice die een oplossing biedt voor het verzamelen, analyseren en uitvoeren van telemetrie vanuit cloud- en on-premises omgevingen. Functies zijn Onder andere Application Insights, Azure Monitor-logboeken en Log Analytics. In deze architectuur biedt Azure Monitor bewaking en waarneembaarheid voor de Azure-services en Azure databases die worden gebruikt als doelen voor de gerepliceerde mainframegegevens.

Gegevensintegrators

Azure Databricks is een geïntegreerd analyseplatform op basis van Spark dat kan worden geïntegreerd met opensource-bibliotheken. Het biedt een samenwerkingswerkruimte voor het uitvoeren van analyseworkloads. U kunt Python-, Scala-, R- en SQL-talen gebruiken om ETL-pijplijnen (extraheren, transformeren en laden) te bouwen en taken te organiseren. In deze architectuur verwerkt en transformeert Azure Databricks de gerepliceerde mainframegegevens voor gebruik door Azure-gegevensplatformservices.
Fabric is een end-to-end ai-analyseplatform dat op een beheerd Spark-rekenplatform werkt. In deze architectuur neemt Fabric Spark gerepliceerde mainframe-gegevens op en transformeert deze zodat deze gereed is voor gebruik door downstream Azure-gegevensplatform- en Fabric-services.
Event Hubs is een realtime gegevensopnameservice die miljoenen gebeurtenissen per seconde kan verwerken. U kunt gegevens uit meerdere bronnen opnemen en gebruiken voor realtime analyses en Event Hubs schalen op basis van het gegevensvolume. In deze architectuur pusht de Connect Replicator Engine realtime wijzigingsgegevens van Connect naar Event Hubs, die deze opneemt voor bijna realtime verwerking en analyse.
Nauwkeurig verbinden is een platform voor gegevensintegratie dat gegevens uit meerdere bronnen kan integreren en realtime replicatie naar Azure kan bieden. U kunt deze gebruiken om gegevens te repliceren zonder wijzigingen aan te brengen in uw toepassing. Verbinding maken kan ook de prestaties van ETL-taken verbeteren. In deze architectuur fungeert Connect als de primaire engine voor gegevensreplicatie waarmee mainframegegevens in realtime worden vastgelegd en gemigreerd naar Azure. U kunt het inrichten vanuit de Azure Marketplace.

Details van het scenario

U kunt verschillende strategieën gebruiken om mainframe- en midrangesystemen naar Azure te migreren. Gegevensmigratie speelt een belangrijke rol in dit proces. Organisaties beginnen meestal met een eerste bulkgegevensmigratie van mainframe- of midrangesystemen naar het Azure gegevensplatform. Na de eerste migratie moet u in een hybride cloudarchitectuur doorlopende gegevensreplicatie tot stand brengen tussen mainframe- of midrangesystemen en het Azure gegevensplatform om de gegevens gesynchroniseerd te houden. Als u de integriteit van de gegevens wilt behouden, hebt u realtime-replicatie nodig voor bedrijfskritieke toepassingen. Connect kan ondersteuning bieden voor de eerste batchmigratie en langdurige replicatie. Gebruik CDC voor realtime wijzigingen of batchinname voor periodieke gegevensoverdrachten.

Precisely Connect ondersteunt de volgende mainframe- en midrange-gegevensbronnen:

Db2 voor z/OS
Db2 voor Linux, UNIX en Windows (LUW)
Db2 for i (AS/400)
IBM Information Management System (IMS)
Methode voor toegang tot IBM Virtual Storage (VSAM)
Bestanden en kopieerboeken

Connect converteert de gegevens naar een bruikbare indeling en streamt ze naar Event Hubs voor gegevensopname met lage latentie. Azure Databricks of Fabric verwerkt vervolgens de opgenomen gegevens in bijna realtime voor downstreamverbruik en opslag in Azure doelen. Deze doelen omvatten SQL Database, Azure Database for PostgreSQL Flexible Server, Azure Database for MySQL Flexible Server, Data Lake Storage en Fabric (Fabric lakehouses, Fabric magazijnen of SQL-databases in Fabric). Samen maakt deze end-to-end-pijplijn , van CDC-opname via Event Hubs-opname naar Databricks of Fabric verwerking, bijna realtime gegevensbeschikbaarheid mogelijk voor analyse- en operationele workloads. Nauwkeurig verbinden biedt ook ondersteuning voor schaalbaarheid op basis van de vereisten van het gegevensvolume en de klant. Hiermee worden gegevens gerepliceerd zonder dat dit invloed heeft op de prestaties of het netwerk belast.

Potentiële gebruikscases

Gegevensreplicatie van mainframe en midrange gegevensbronnen naar het Azure-gegevensplatform
In een hybride cloudarchitectuur worden gegevens gesynchroniseerd tussen mainframe- of midrangesystemen en het Azure-gegevensplatform
Bijna realtime analyses op Azure, op basis van operationele gegevens van mainframe- of midrangesystemen
Migratie van gegevens van mainframe- of midrangesystemen naar Azure zonder dat hiervoor wijzigingen in de brontoepassingen nodig zijn

Overwegingen

Met deze overwegingen worden de pijlers van het Azure Well-Architected Framework geïmplementeerd. Dit is een set richtlijnen die u kunt gebruiken om de kwaliteit van een workload te verbeteren. Zie Well-Architected Framework voor meer informatie.

Betrouwbaarheid

Betrouwbaarheid zorgt ervoor dat uw toepassing kan voldoen aan de toezeggingen die u aan uw klanten hebt gedaan. Zie Controlelijst ontwerpbeoordeling voor betrouwbaarheidvoor meer informatie.

Gebruik Azure Monitor om de status en prestaties van Event Hubs, Azure Databricks en doeldatabases Azure te bewaken. Gebruik de Monitor-hub in Fabric om Fabric-jobs te controleren. Configureer waarschuwingen om proactief beheer mogelijk te maken tijdens zowel de eerste gegevensmigratie als de lopende bijna realtime replicatie.

Kostenoptimalisatie

Kostenoptimalisatie richt zich op manieren om onnodige uitgaven te verminderen en operationele efficiëntie te verbeteren. Zie controlelijst ontwerpbeoordeling voor kostenoptimalisatievoor meer informatie.

Het repliceren van gegevens naar Azure en verwerking in Azure services kan goedkoper zijn dan het onderhouden van gegevens in een mainframesysteem.
Gebruik de weergave kostenanalyse in Cost Management om uitgaven te analyseren. Zie voor een beginpunt de vooraf geconfigureerde kostenraming in de Azure-prijscalculator. Pas deze aan zodat deze overeenkomt met uw workload.
Als u de kosten wilt optimaliseren, kunt u Azure Databricks gebruiken om het formaat van uw cluster te wijzigen via automatisch schalen. Deze benadering kan goedkoper zijn dan een vaste configuratie.
Azure Advisor biedt aanbevelingen voor het optimaliseren van prestaties en kostenbeheer.

Prestatie-efficiëntie

Prestatie-efficiëntie verwijst naar de mogelijkheid van uw workload om efficiënt te voldoen aan de behoeften van de gebruiker. Zie controlelijst ontwerpbeoordeling voor prestatie-efficiëntievoor meer informatie.

Precisely Connect kan schalen op basis van de gegevensvolume en de datareplicatie optimaliseren.
De Connect Replicator Engine kan gegevens distribueren voor parallelle verwerking. U kunt de verdeling balanceren op basis van de verwerking van workloads.
Serverloze SQL Database kan automatisch worden geschaald op basis van het volume van workloads.
Event Hubs kan worden geschaald op basis van doorvoereenheden en het aantal partities. Bepaal het aantal partities op basis van de verwachte piekdoorvoer van uw CDC-workload.

Bijdragers

Microsoft onderhoudt dit artikel. De volgende inzenders hebben dit artikel geschreven.

Hoofdauteur:

Seetharaman Sankaran | Senior Engineering Architect

Andere inzender:

Gyani Sinha | Senior Solution Engineer

Als u niet-openbare LinkedIn-profielen wilt zien, meldt u zich aan bij LinkedIn.

Volgende stappen

Feedback

Is deze pagina nuttig?