Replikera stordatordata med hjälp av Precisely Connect

Azure SQL Database

Hanterad Azure SQL-instans

Microsoft Fabric

Azure Databricks

Händelsehubbar för Azure

Den här artikeln beskriver hur du använder Precisely Connect för att migrera stordator- och mellanregistersystem till Azure. Connect tillhandahåller datareplikering i realtid från äldre system till Azure med hjälp av CDC (Change Data Capture).

Den här lösningen ger datakonsekvens mellan lokala stordatormiljöer och Azure samtidigt som effekten på källsystemprestanda minimeras. Arkitekturen stöder olika stordatorer och mellanregisterdatakällor och replikerar data till Azure-mål som Azure SQL Database, Azure Event Hubs och Microsoft Fabric.

Apache®, Spark och flamlogotypen är antingen registrerade varumärken eller varumärken som tillhör Apache Software Foundation i USA och/eller andra länder. Inget godkännande från Apache Software Foundation underförstås av användningen av dessa märken.

Arkitektur

Ladda ned en Visio-fil med den här arkitekturen.

Arbetsflöde

Följande arbetsflöde motsvarar föregående diagram:

En Connect-agentkomponent samlar in ändringsloggar med hjälp av stordator eller mellanregister och cachelagrar loggarna i tillfällig lagring.
För stordatorsystem hanterar en utgivarkomponent i stordatorn datamigrering.
För mellanregistersystem hanterar en lyssnarkomponent datamigrering i stället för en utgivare. Lyssnaren finns på en Windows- eller Linux-dator.
Utgivaren eller lyssnaren flyttar data från lokal plats till Azure via Azure ExpressRoute. Utgivaren eller lyssnaren hanterar incheckningen och återställningen av transaktioner för varje arbetsenhet, vilket upprätthåller dataintegriteten.
Connect Replicator Engine samlar in data från utgivaren eller lyssnaren och tillämpar dem på målet. Den distribuerar data för parallell bearbetning.
Event Hubs matar in realtidsdataändringar från Connect Replicator Engine för bearbetning i nästan realtid.
Azure Databricks eller Fabric bearbetar inmatade data. Bearbetade data lagras i Azure-mål som SQL Database, Azure Database for PostgreSQL Flexible Server, Azure Data Lake Storage eller lakehouses och datalager i Fabric för vidare analys och affärsanalys (BI).
Connect Controller Daemon autentiserar begäran och upprättar socketanslutningen mellan utgivaren eller lyssnaren och Replikatormotorn.

Komponenter

Den här arkitekturen använder följande komponenter.

Nätverk och identitet

Azure ExpressRoute är en anslutningstjänst som utökar dina lokala nätverk till Azure-molnplattformen via en privat anslutning från en anslutningsleverantör. I den här arkitekturen tillhandahåller ExpressRoute en säker anslutning med hög bandbredd för replikering av stordatordata till Azure.
Azure VPN Gateway är en tjänst för virtuell nätverksgateway som gör att du kan skapa virtuella nätverksgatewayer som skickar krypterad trafik mellan ett virtuellt Azure-nätverk och en lokal plats via det offentliga Internet. I den här arkitekturen kan du använda VPN Gateway som ett alternativ till ExpressRoute för att ansluta stordatorsystem till Azure när en privat anslutning inte är tillgänglig.
Microsoft Entra ID är en identitets- och åtkomsthanteringstjänst som kan synkroniseras med lokal Active Directory. I den här arkitekturen hanterar Microsoft Entra ID autentisering och åtkomstkontroll för Connect-komponenter som har åtkomst till Azure resurser.

Förvaring

Azure Database for MySQL är en hanterad relationsdatabastjänst som baseras på communityversionen av MySQL-databasmotorn med öppen källkod. I den här arkitekturen tillhandahåller Azure Database for MySQL ett målalternativ för replikerade stordatordata.
Azure Database for PostgreSQL Flexibel server är en fullständigt hanterad relationsdatabastjänst baserad på community-utgåvan av PostgreSQL-databasmotorn. I den här arkitekturen används Azure Database for PostgreSQL Flexible Server som måldatabas för replikering av data från stordatorer.
Azure SQL Database är en PaaS-databasmotor (plattform som en tjänst) som ingår i Azure SQL-familjen. Den är byggd för molnet och ger alla fördelar med en hanterad och evergreen PaaS. SQL Database tillhandahåller även AI-baserade automatiserade funktioner som optimerar prestanda och hållbarhet. Lagringsalternativ för serverlös beräkning och hyperskala skalar automatiskt resurser på begäran. I den här arkitekturen fungerar SQL Database som en måldatabas för att ta emot replikerade stordatordata via Open Database Connectivity (ODBC) eller interna databasanslutningar.
Azure SQL Managed Instance är en molndatabastjänst som erbjuder alla fördelar med en hanterad och ständigt uppdaterad PaaS. SQL Managed Instance har nästan fullständig kompatibilitet med den senaste SQL Server Enterprise-databasmotorn. Det tillhandahåller också en intern implementering av virtuella nätverk som hanterar vanliga säkerhetsproblem. I den här arkitekturen kan SQL Managed Instance fungera som ett mål för stordatordata som kräver SQL Server-kompatibilitet.
Azure Storage är en molnlagringslösning som innehåller objekt, fil, disk, kö och tabelllagring. Tjänsterna omfattar hybridlagringslösningar och verktyg för överföring, delning och säkerhetskopiering av data. I den här arkitekturen tillhandahåller Storage skalbar lagring för replikerade stordatordata och tillfällig cachelagring.
OneLake är den enhetliga datasjön för Fabric. I den här arkitekturen fungerar OneLake som lagring för data som matas in från Event Hubs. Använd OneLake-genvägar för att ge nollkopieringsåtkomst till data som lagras i Data Lake Storage eller annan molnlagring utan att duplicera data.
Fabric är en analysplattform som förenar dataförflyttning, databearbetning, inmatning, transformering, händelseroutning i realtid och rapportskapande. I den här arkitekturen fungerar Fabric (lakehouses, warehouses eller SQL Database i Fabric) som relationslagringsmål för analys och BI-lagret.

Analys och rapportering

Power BI är en grupp med verktyg för affärsanalys som kan ge insikter i hela organisationen. Power BI kan ansluta till hundratals datakällor, förenkla förberedelse av data och köra oplanerad analys. I den här arkitekturen tillhandahåller Power BI BI-funktioner för att analysera replikerade stordatordata. Power BI är inbyggt integrerat med Fabric för enhetlig analys.

Övervakning

Azure Monitor är en övervakningstjänst som tillhandahåller en lösning för att samla in, analysera och agera på telemetri från molnmiljöer och lokala miljöer. Funktionerna omfattar Application Insights, Azure Monitor-loggar och Log Analytics. I den här arkitekturen tillhandahåller Azure Monitor övervakning och observerbarhet för de Azure tjänster och Azure databaser som används som mål för replikerade stordatordata.

Dataintegrerare

Azure Databricks är en enhetlig analysplattform baserad på Spark som integreras med bibliotek med öppen källkod. Den tillhandahåller en samarbetsyta för att köra analytiska arbetsbelastningar. Du kan använda språken Python, Scala, R och SQL för att skapa ETL-pipelines (extract, transform och load) och orkestrera jobb. I den här arkitekturen bearbetar och transformerar Azure Databricks replikerade stordatordata för förbrukning av Azure-dataplattformstjänster.
Fabric är en AI-baserad analysplattform från slutpunkt till slutpunkt som fungerar på en hanterad Spark-beräkningsplattform. I den här arkitekturen importerar Fabric Spark och transformerar replikerade stordatordata för att göra dem redo för analys av efterföljande Azure-dataplattform och Fabric-tjänster.
Event Hubs är en datainmatningstjänst i realtid som kan bearbeta miljontals händelser per sekund. Du kan mata in data från flera källor och använda dem för realtidsanalys och skala Event Hubs baserat på mängden data. I den här arkitekturen skickar Connect Replicator Engine ändringsdata i realtid från Connect till Event Hubs, som matar in dem för bearbetning och analys i nära realtid.
Just Connect är en dataintegreringsplattform som kan integrera data från flera källor och tillhandahålla replikering i realtid till Azure. Du kan använda den för att replikera data utan att göra ändringar i ditt program. Connect kan också förbättra prestanda för ETL-jobb. I den här arkitekturen fungerar Connect som den primära datareplikeringsmotorn som samlar in och migrerar stordatordata till Azure i realtid. Du kan etablera den från Azure Marketplace.

Information om scenario

Du kan använda olika strategier för att migrera stordatorer och mellanregistersystem till Azure. Datamigrering spelar en viktig roll i den här processen. Organisationer börjar vanligtvis med en inledande massdatamigrering från stordator- eller mellanregistersystem till Azure dataplattform. Efter den första migreringen måste du i en hybridmolnarkitektur upprätta pågående datareplikering mellan stordator- eller mellanregistersystem och Azure dataplattform för att hålla data synkroniserade. För att upprätthålla dataintegriteten behöver du replikering i realtid för affärskritiska program. Connect kan stödja den inledande batchmigreringen och långsiktig replikering. Använd CDC för ändringar i realtid eller batchinmatning för periodiska överföringar.

Just Connect har stöd för följande stordator- och mellanregisterdatakällor:

Db2 för z/OS
Db2 för Linux, UNIX och Windows (LUW)
Db2 för i (AS/400)
IBM Information Management System (IMS)
IBM Virtual Storage Access Method (VSAM)
Filer och kopieringsböcker

Connect konverterar data till ett förbrukningsbart format och strömmar dem till Event Hubs för inmatning med låg svarstid. Azure Databricks eller Fabric bearbetar sedan de inhämtade data i nära realtid för vidare användning i efterföljande system och lagring i Azure-mål. Dessa mål omfattar SQL Database, Azure Database for PostgreSQL Flexible Server, Azure Database for MySQL Flexible Server, Data Lake Storage och Fabric (Fabric lakehouses, Fabric-lager eller SQL-databaser i Fabric). Tillsammans möjliggör den här pipelinen från slutpunkt till slutpunkt – från CDC-insamling via Event Hubs-inmatning till Databricks eller Fabric bearbetning – datatillgänglighet i nästan realtid för analys och driftarbetsbelastningar. Just Connect stöder även skalbarhet baserat på datavolym och kundkrav. Den replikerar data utan att påverka prestanda eller belasta nätverket.

Potentiella användningsfall

Datareplikering från stordator och mellanregisterdatakällor till Azure-dataplattformen
I en hybridmolnarkitektur synkroniserar data mellan stordatorer eller mellanregistersystem och Azure-dataplattformen
Analys i nära realtid i Azure, baserat på driftdata från stordator- eller mellanregistersystem
Migrering av data från stordator- eller mellanregistersystem till Azure utan att kräva ändringar i källprogrammen

Att tänka på

Dessa överväganden implementerar grundpelarna i Azure Well-Architected Framework, som är en uppsättning vägledande grundsatser som du kan använda för att förbättra kvaliteten på en arbetsbelastning. För mer information, se Well-Architected Framework.

Tillförlitlighet

Tillförlitlighet hjälper till att säkerställa att ditt program kan uppfylla de åtaganden som du gör gentemot dina kunder. Mer information finns i checklistan för Designgranskning för tillförlitlighet.

Använd Azure Monitor för att övervaka hälsotillståndet och prestandan för eventhubbar, Azure Databricks och måldatabaser för Azure. Använd övervakningshubben i Fabric för att övervaka Fabric jobb. Konfigurera aviseringar för att aktivera proaktiv hantering under både inledande datamigrering och pågående replikering i nära realtid.

Kostnadsoptimering

Kostnadsoptimering fokuserar på sätt att minska onödiga utgifter och förbättra drifteffektiviteten. Mer information finns i checklistan Designgranskning för kostnadsoptimering.

Att replikera data till Azure och bearbetning i Azure tjänster kan vara billigare än att underhålla data i ett stordatorsystem.
Använd kostnadsanalysvyn i Cost Management för att analysera utgifter. Som utgångspunkt kan du se den förkonfigurerade uppskattningen i priskalkylatorn för Azure. Justera den så att den matchar din arbetsbelastning.
För att optimera kostnaderna kan du använda Azure Databricks för att ändra storlek på klustret via automatisk skalning. Den här metoden kan vara billigare än en fast konfiguration.
Azure Advisor ger rekommendationer för att optimera prestanda och kostnadshantering.

Prestandaeffektivitet

Prestandaeffektivitet syftar på arbetsbelastningens förmåga att skala för att effektivt uppfylla användarnas krav. Mer information finns i checklistan för Designgranskning för prestandaeffektivitet.

Precisely Connect kan skalas utifrån datamängden och optimera datareplikeringen.
Connect Replicator Engine kan distribuera data för parallell bearbetning. Du kan balansera distributionen baserat på tillförsel av arbetslast.
SQL Database serverfri kan automatiskt skala baserat på mängden arbetsbörda.
Event Hubs kan skalas baserat på dataflödesenheter och antalet partitioner. Fastställa partitionsantalet baserat på det förväntade maximala dataflödet för CDC-arbetsbelastningen.

Deltagare

Microsoft ansvarar för den här artikeln. Följande deltagare skrev den här artikeln.

Huvudförfattare:

Seetharaman Sankaran | Teknisk arkitekt

Annan deltagare:

Gyani Sinha | Senior lösningstekniker

Om du vill se linkedin-profiler som inte är offentliga loggar du in på LinkedIn.

Nästa steg

Feedback

Var den här sidan till hjälp?