Replikowanie danych mainframe przy użyciu Precisely Connect

Azure SQL Database
Wystąpienie zarządzane Azure SQL
Microsoft Fabric
Azure Databricks
Azure Event Hubs

W tym artykule opisano sposób migrowania systemów mainframe i midrange na platformę Azure przy użyciu narzędzia Precisely Connect. Program Connect zapewnia replikację danych w czasie rzeczywistym ze starszych systemów do Azure przy użyciu funkcji przechwytywania zmian danych (CDC).

To rozwiązanie zapewnia spójność danych między lokalnymi środowiskami mainframe i platformą Azure, jednocześnie minimalizując wpływ na wydajność systemu źródłowego. Architektura obsługuje różne źródła danych mainframe i midrange oraz replikuje dane do obiektów docelowych platformy Azure, takich jak Azure SQL Database, Azure Event Hubs i Microsoft Fabric.

Apache®, Spark i logo płomienia są zastrzeżonymi znakami towarowymi lub znakami towarowymi fundacji Apache Software Foundation w Stany Zjednoczone i/lub innych krajach. Fundacja Apache Software Foundation nie udziela poparcia poprzez użycie tych znaków.

Architektura

Diagram przedstawiający architekturę migracji systemów mainframe i midrange na platformę Azure.

Pobierz plik programu Visio z tą architekturą.

Workflow

Poniższy przepływ pracy odpowiada powyższemu diagramowi:

  1. Składnik Connect agent przechwytuje dzienniki zmian przy użyciu programów mainframe lub midrange natywnych i buforuje dzienniki w magazynie tymczasowym.
  2. W przypadku systemów mainframe składnik wydawcy na komputerze mainframe zarządza migracją danych.
  3. W przypadku systemów średnich składnik odbiornika zarządza migracją danych zamiast wydawcy. Odbiornik znajduje się na maszynie z systemem Windows lub Linux.
  4. Wydawca lub odbiornik przenosi dane ze środowiska lokalnego do Azure za pośrednictwem Azure ExpressRoute. Wydawca lub słuchacz obsługuje zatwierdzanie i wycofywanie transakcji dla każdej operacji, co utrzymuje integralność danych.
  5. Aparat replikatora połączeń przechwytuje dane z wydawcy lub odbiornika i stosuje je do obiektu docelowego. Dystrybuuje dane do przetwarzania równoległego.
  6. Usługa Event Hubs pozyskuje zmiany danych w czasie rzeczywistym z mechanizmu Connect Replicator Engine w celu przetwarzania niemal w czasie rzeczywistym.
  7. Azure Databricks lub Fabric przetwarza pozyskane dane. Przetworzone dane są przechowywane w obiektach docelowych Azure, takich jak usługa SQL Database, serwer elastyczny Azure Database for PostgreSQL, Azure Data Lake Storage lub magazyny typu lakehouse i magazyny Fabric na potrzeby analizy podrzędnej i analizy biznesowej (BI).
  8. Demon kontrolera połączeń uwierzytelnia żądanie i ustanawia połączenie gniazda między wydawcą lub odbiornikiem a silnikiem replikatora.

Składniki

Ta architektura używa następujących składników.

Sieć i tożsamość

  • Azure ExpressRoute to usługa łączności, która rozszerza sieci lokalne na platformę w chmurze platformy Azure za pośrednictwem połączenia prywatnego od dostawcy łączności. W tej architekturze usługa ExpressRoute zapewnia bezpieczne połączenie o wysokiej przepustowości na potrzeby replikowania danych mainframe na platformę Azure.

  • Azure VPN Gateway to usługa bramy sieci wirtualnej, która umożliwia tworzenie bram sieci wirtualnej, które wysyłają zaszyfrowany ruch między siecią wirtualną platformy Azure a lokalizacją lokalną za pośrednictwem publicznego Internetu. W tej architekturze możesz użyć usługi VPN Gateway jako alternatywy dla usługi ExpressRoute, aby połączyć systemy mainframe z platformą Azure, gdy połączenie prywatne nie jest dostępne.

  • Microsoft Entra ID to usługa zarządzania tożsamościami i dostępem, która może synchronizować się z lokalną usługą Active Directory. W tej architekturze Microsoft Entra ID zarządza uwierzytelnianiem i kontrolą dostępu dla składników Connect, które uzyskują dostęp do zasobów Azure.

Magazyn

  • Azure Database for MySQL to zarządzana usługa relacyjnej bazy danych oparta na społecznościowej wersji silnika bazy danych MySQL typu open source. W tej architekturze usługa Azure Database for MySQL udostępnia opcję docelową dla replikowanych danych mainframe.

  • Azure Database for PostgreSQL — serwer elastyczny to w pełni zarządzana relacyjna usługa bazy danych oparta na społecznościowej wersji silnika bazy danych PostgreSQL. W tej architekturze serwer elastyczny Azure Database for PostgreSQL służy jako docelowa baza danych na potrzeby replikacji danych mainframe.

  • Azure SQL Database to aparat bazy danych typu platforma jako usługa (PaaS), który jest częścią rodziny azure SQL. Jest stworzona dla chmury i zapewnia wszystkie korzyści zarządzanego i aktualizowanego na bieżąco PaaS. Usługa SQL Database udostępnia również zautomatyzowane funkcje oparte na sztucznej inteligencji, które optymalizują wydajność i trwałość. Bezserwerowe przetwarzanie i hiperskalowe opcje przechowywania automatycznie skalują zasoby na żądanie. W tej architekturze usługa SQL Database służy jako docelowa baza danych do odbierania replikowanych danych mainframe za pośrednictwem połączeń Open Database Connectivity (ODBC) lub natywnych połączeń bazy danych.

  • Azure SQL Managed Instance to usługa bazy danych w chmurze, która zapewnia wszystkie korzyści zarządzanej i zawsze aktualnej platformy jako usługi (PaaS). Zarządzane wystąpienie SQL ma niemal pełną zgodność z najnowszym silnikiem bazy danych SQL Server Enterprise. Zapewnia również natywną implementację sieci wirtualnej, która rozwiązuje typowe problemy z zabezpieczeniami. W tej architekturze usługa SQL Managed Instance może służyć jako element docelowy dla danych mainframe, które wymagają zgodności z programem SQL Server.

  • Azure Storage to rozwiązanie magazynu w chmurze, które obejmuje obiekt, plik, dysk, kolejkę i magazyn tabel. Usługi obejmują hybrydowe rozwiązania magazynu i narzędzia do przesyłania, udostępniania i tworzenia kopii zapasowych danych. W tej architekturze usługa Storage zapewnia skalowalny magazyn na potrzeby replikowanych danych mainframe i tymczasowego buforowania.

  • OneLake to ujednolicony magazyn danych typu data lake dla platformy Fabric. W tej architekturze usługa OneLake służy jako magazyn danych pozyskanych z usługi Event Hubs. Użyj skrótów OneLake, aby zapewnić dostęp bez kopiowania do danych przechowywanych w Data Lake Storage lub w innym magazynie w chmurze bez duplikowania danych.

  • Fabric to platforma analityczna, która integruje przenoszenie danych, przetwarzanie danych, pozyskiwanie danych, transformację danych, trasowanie zdarzeń w czasie rzeczywistym i generowanie raportów. W tej architekturze Fabric (lakehouses, warehouses lub SQL Database w ramach Fabric) pełni rolę miejsca docelowego magazynu relacyjnego na potrzeby analizy i warstwy BI.

Analiza i raportowanie

  • Power BI to grupa narzędzi do analizy biznesowej, które mogą dostarczać szczegółowe informacje w całej organizacji. Usługa Power BI może łączyć się z setkami źródeł danych, upraszczać przygotowywanie danych i prowadzić nieplanowaną analizę. W tej architekturze usługa Power BI zapewnia możliwości analizy biznesowej na potrzeby analizowania replikowanych danych mainframe. Usługa Power BI jest natywnie zintegrowana z usługą Fabric na potrzeby ujednoliconej analizy.

Monitorowanie

  • Azure Monitor to usługa monitorowania, która udostępnia rozwiązanie do zbierania, analizowania i działania na telemetrii ze środowisk chmurowych i lokalnych. Funkcje obejmują usługę Application Insights, dzienniki usługi Azure Monitor i usługę Log Analytics. W tej architekturze Azure Monitor zapewnia monitorowanie i obserwowanie usług Azure oraz baz danych Azure używanych jako obiekty docelowe dla replikowanych danych mainframe.

Integratorzy danych

  • Azure Databricks to ujednolicona platforma analityczna oparta na platformie Spark, która integruje się z bibliotekami open source. Udostępnia ona obszar roboczy do współpracy na potrzeby uruchamiania obciążeń analitycznych. W językach Python, Scala, R i SQL można tworzyć potoki ekstrakcji, przekształcania i ładowania danych (ETL) oraz orkiestrować zadania. W tej architekturze usługa Azure Databricks przetwarza i przekształca replikowane dane z mainframe do użycia przez usługi platformy danych Azure.

  • Fabric to kompleksowa platforma analityczna oparta na sztucznej inteligencji, która działa na zarządzanej platformie obliczeniowej Spark. W tej architekturze platforma Fabric Spark pozyskuje i przekształca zreplikowane dane mainframe, aby przygotować je do użycia przez podrzędną platformę danych Azure i usługi Fabric.

  • Event Hubs to usługa pozyskiwania danych w czasie rzeczywistym, która może przetwarzać miliony zdarzeń na sekundę. Dane można pozyskiwać z wielu źródeł i używać ich do analizy w czasie rzeczywistym oraz skalować usługi Event Hubs na podstawie ilości danych. W tej architekturze silnik Connect Replicator Engine przesyła dane o zmianach w czasie rzeczywistym z Connect do usługi Event Hubs, która pobiera je na potrzeby przetwarzania i analizy niemal w czasie rzeczywistym.

  • Precisely Connect to platforma integracji danych, która może integrować dane z wielu źródeł, dzięki czemu zapewnia replikację w czasie rzeczywistym na platformę chmurową Azure. Można jej używać do replikowania danych bez wprowadzania zmian w aplikacji. Połączenie może również poprawić wydajność zadań ETL. W tej architekturze program Connect służy jako podstawowy aparat replikacji danych, który przechwytuje i migruje dane mainframe do Azure w czasie rzeczywistym. Można je wdrożyć za pośrednictwem Azure Marketplace.

Szczegóły scenariusza

Za pomocą różnych strategii można migrować systemy mainframe i midrange na platformę Azure. Migracja danych odgrywa kluczową rolę w tym procesie. Organizacje zazwyczaj zaczynają się od początkowej zbiorczej migracji danych z systemów mainframe lub midrange do platformy danych Azure. Po początkowej migracji w architekturze chmury hybrydowej należy ustanowić ciągłą replikację danych między systemami mainframe lub midrange a platformą danych Azure, aby zachować synchronizację danych. Aby zachować integralność danych, potrzebna jest replikacja w czasie rzeczywistym dla aplikacji krytycznych dla działania firmy. Program Connect może obsługiwać początkową migrację wsadową i długoterminową replikację. Użyj CDC do obsługi zmian w czasie rzeczywistym lub wsadowego pozyskiwania danych na potrzeby okresowych transferów.

Precisely Connect obsługuje następujące źródła danych systemów mainframe i średniej klasy:

  • Db2 dla z/OS
  • Db2 dla systemów Linux, UNIX i Windows (LUW)
  • Db2 for i (AS/400)
  • IBM Information Management System (IMS)
  • IBM Virtual Storage Access Method (VSAM)
  • Pliki i elementy do kopiowania

Connect konwertuje dane do formatu nadającego się do użycia i przesyła je strumieniowo do usługi Event Hubs na potrzeby pozyskiwania danych z małymi opóźnieniami. Następnie usługa Azure Databricks lub Fabric przetwarza pozyskane dane niemal w czasie rzeczywistym na potrzeby dalszego wykorzystania i przechowywania w zasobach docelowych platformy Azure. Te elementy docelowe obejmują usługę SQL Database, serwer elastyczny Azure Database for PostgreSQL, serwer elastyczny Azure Database for MySQL, usługę Data Lake Storage oraz usługę Fabric (lakehouse’y w usłudze Fabric, magazyny danych w usłudze Fabric lub bazy danych SQL w usłudze Fabric). Ten kompleksowy potok end-to-end — od przechwytywania CDC przez pozyskiwanie danych za pomocą usługi Event Hubs po przetwarzanie w Databricks lub Fabric — zapewnia dostępność danych niemal w czasie rzeczywistym na potrzeby obciążeń analitycznych i operacyjnych. Precisely Connect również obsługuje skalowalność na podstawie wolumenu danych i wymagań klientów. Replikuje dane bez wpływu na wydajność lub obciążenie sieci.

Potencjalne przypadki użycia

  • Replikacja danych ze źródeł danych mainframe i średniej klasy do platformy danych Azure
  • W architekturze chmury hybrydowej synchronizacja danych między systemami mainframe lub midrange a platformą danych Azure
  • Analiza niemal w czasie rzeczywistym na platformie Azure oparta na danych operacyjnych z systemów mainframe lub midrange
  • Migracja danych z systemów mainframe lub midrange do Azure bez konieczności modyfikowania aplikacji źródłowych

Kwestie wymagające rozważenia

Te zagadnienia implementują filary platformy Azure Well-Architected Framework, która jest zestawem wytycznych, których można użyć do poprawy jakości obciążenia. Aby uzyskać więcej informacji, zobacz Well-Architected Framework.

Niezawodność

Niezawodność pomaga zapewnić, że aplikacja może spełnić zobowiązania podjęte przez klientów. Aby uzyskać więcej informacji, zobacz Design review checklist for Reliability(Lista kontrolna dotycząca niezawodności).

Użyj Azure Monitor do monitorowania kondycji i wydajności usługi Event Hubs, Azure Databricks i docelowych baz danych Azure. Użyj centrum Monitor w Fabric, aby monitorować zadania Fabric. Skonfiguruj alerty, aby umożliwić aktywne zarządzanie zarówno podczas początkowej migracji danych, jak i trwającej niemal w czasie rzeczywistym replikacji.

Optymalizacja kosztów

Optymalizacja kosztów koncentruje się na sposobach zmniejszenia niepotrzebnych wydatków i poprawy wydajności operacyjnej. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu dlaoptymalizacji kosztów.

  • Replikowanie danych do Azure i przetwarzania w usługach Azure może być tańsze niż utrzymywanie danych w systemie mainframe.
  • Użyj widoku analizy kosztów w usłudze Cost Management, aby przeanalizować wydatki. Aby uzyskać punkt początkowy, zobacz wstępnie skonfigurowane oszacowanie w kalkulatorze cen Azure. Dostosuj go tak, aby był zgodny z obciążeniem.
  • Aby zoptymalizować koszty, możesz użyć Azure Databricks, aby zmienić rozmiar klastra za pomocą skalowania automatycznego. Takie podejście może być tańsze niż stała konfiguracja.
  • Azure Advisor zawiera zalecenia dotyczące optymalizacji wydajności i zarządzania kosztami.

Wydajność

Wydajność odnosi się do możliwości skalowania obciążenia w celu efektywnego zaspokojenia wymagań użytkowników. Aby uzyskać więcej informacji, zobacz Lista kontrolna przeglądu projektu pod kątem wydajności.

  • Precisely Connect można skalować w zależności od ilości danych i optymalizować replikację danych.
  • Aparat replikatora połączeń może dystrybuować dane na potrzeby przetwarzania równoległego. Dystrybucję można równoważyć na podstawie przetwarzania obciążeń.
  • Bezserwerowa baza danych SQL Database może być skalowana automatycznie na podstawie liczby obciążeń.
  • Usługa Event Hubs może być skalowana na podstawie jednostek przepływności i liczby partycji. Określ liczbę partycji na podstawie oczekiwanej szczytowej przepływności obciążenia usługi CDC.

Współautorzy

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

Inny współautor:

Aby wyświetlić niepubliczne profile serwisu LinkedIn, zaloguj się do serwisu LinkedIn.

Następne kroki