Répliquer des données mainframe avec Precisely Connect

Azure SQL Database
Azure SQL Managed Instance
Microsoft Fabric
Azure Databricks
Azure Event Hubs

Cet article explique comment utiliser Precisely Connect pour migrer des systèmes mainframe et midrange vers Azure. Connect permet la réplication des données en temps réel depuis des systèmes hérités vers Azure à l’aide de la capture des changements de données (CDC).

Cette solution fournit une cohérence des données entre les environnements mainframe locaux et Azure tout en réduisant l’effet sur les performances du système source. L’architecture prend en charge différentes sources de données mainframe et midrange et réplique les données vers des cibles Azure telles qu’Azure SQL Database, Azure Event Hubs et Microsoft Fabric.

Apache®, Spark et le logo représentant une flamme sont des marques déposées ou des marques commerciales d’Apache Software Foundation aux États-Unis et/ou dans d’autres pays. L’utilisation de ces marques n’implique aucune approbation de l’Apache Software Foundation.

Architecture

Diagramme montrant une architecture permettant de migrer des systèmes mainframe et midrange vers Azure.

Téléchargez un fichier Visio de cette architecture.

Flux de travail

Le workflow suivant correspond au diagramme précédent :

  1. Un composant agent Connect capture les journaux de modifications en utilisant des utilitaires natifs pour mainframe ou midrange et met en cache les journaux dans un stockage temporaire.
  2. Pour les systèmes mainframe, un composant de serveur de publication sur le mainframe gère la migration des données.
  3. Pour les systèmes midrange, un composant d'écoute gère la migration des données au lieu d'un éditeur. L’écouteur réside sur une machine Windows ou Linux.
  4. L’éditeur ou l’écouteur déplace les données d’un emplacement local vers Azure via Azure ExpressRoute. Le serveur de publication ou l’écouteur gère la validation et la restauration des transactions pour chaque unité de travail, maintenant l’intégrité des données.
  5. Le Connect Replicator Engine capture les données du publisher ou du listener et les applique à la cible. Il distribue les données pour le traitement parallèle.
  6. Event Hubs ingère des modifications de données en temps réel à partir du moteur de réplication Connect pour le traitement en temps quasi réel.
  7. Azure Databricks ou Fabric traite les données ingérées. Les données traitées sont stockées dans des cibles Azure telles que SQL Database, Azure Database pour PostgreSQL - Serveur flexible, Azure Data Lake Storage, ou des lakehouses Fabric et des entrepôts de données Fabric pour l’analytique et l’informatique décisionnelle (BI) en aval.
  8. Le démon du contrôleur Connect authentifie la demande et établit la connexion de socket entre le serveur de publication ou l’écouteur et le moteur de réplication.

Composants

Cette architecture utilise les composants suivants.

Réseau et identité

  • Azure ExpressRoute est un service de connectivité qui étend vos réseaux locaux à la plateforme cloud Azure via une connexion privée d’un fournisseur de connectivité. Dans cette architecture, ExpressRoute fournit une connexion sécurisée à bande passante élevée pour répliquer des données mainframe sur Azure.

  • La passerelle VPN Azure est un service de passerelle de réseau virtuel qui vous permet de créer des passerelles de réseau virtuel qui envoient du trafic chiffré entre un réseau virtuel Azure et un emplacement local sur l’Internet public. Dans cette architecture, vous pouvez utiliser la passerelle VPN comme alternative à ExpressRoute pour connecter des systèmes mainframe à Azure lorsqu’une connexion privée n’est pas disponible.

  • Microsoft Entra ID est un service de gestion des identités et des accès qui peut se synchroniser avec Active Directory local. Dans cette architecture, Microsoft Entra ID gère l’authentification et le contrôle d’accès pour les composants Connect qui accèdent aux ressources Azure.

Stockage

  • Azure Database pour MySQL est un service de base de données relationnelle managé basé sur l’édition community du moteur de base de données MySQL open source. Dans cette architecture, Azure Database pour MySQL fournit une option cible pour les données mainframe répliquées.

  • Azure Database pour PostgreSQL Flexible Server est un service de base de données relationnelle entièrement géré, basé sur l’édition communautaire du moteur de base de données PostgreSQL. Dans cette architecture, Azure Database pour PostgreSQL - Serveur flexible sert de base de données cible à la réplication des données de mainframe.

  • Azure SQL Database est un moteur de base de données PaaS (Platform as a Service) qui fait partie de la famille Azure SQL. Il est conçu pour le cloud et offre tous les avantages d’un PaaS managé et persistant. SQL Database fournit également des fonctionnalités automatisées basées sur l’IA qui optimisent les performances et la durabilité. Le calcul sans serveur et des options de stockage Hyperscale mettent automatiquement à l’échelle les ressources à la demande. Dans cette architecture, SQL Database sert de base de données cible pour recevoir des données mainframe répliquées via Open Database Connectivity (ODBC) ou des connexions de base de données natives.

  • Azure SQL Managed Instance est un service de base de données cloud qui offre tous les avantages d’un PaaS managé et persistant. SQL Managed Instance a une compatibilité quasi complète avec le dernier moteur de base de données SQL Server Enterprise Edition. Il fournit également une implémentation native de réseau virtuel qui résout les problèmes de sécurité courants. Dans cette architecture, SQL Managed Instance peut servir de cible pour les données mainframe nécessitant une compatibilité SQL Server.

  • Le service Stockage Azure est une solution de stockage cloud qui comprend un stockage d’objets, de fichiers, de disques, de files d’attente et de tables. Les services incluent des solutions et des outils de stockage hybride pour transférer, partager et sauvegarder des données. Dans cette architecture, le stockage fournit une capacité de stockage évolutive pour les données de l'ordinateur central répliquées et la mise en cache temporaire.

  • OneLake est le lac de données unifié pour Fabric. Dans cette architecture, OneLake sert de stockage pour les données ingérées à partir d’Event Hubs. Utilisez les raccourcis OneLake pour fournir un accès de copie zéro aux données stockées dans Data Lake Storage ou un autre stockage cloud sans dupliquer les données.

  • Fabric est une plateforme d’analyse qui unifie le déplacement des données, le traitement des données, l’ingestion, la transformation, le routage des événements en temps réel et la génération de rapports. Dans cette architecture, Fabric (lakehouses, entrepôts ou SQL Database dans Fabric) sert de destination de stockage relationnelle pour l’analytique et la couche BI.

Analyse et rapports

  • Power BI est un groupe d’outils d’analytique métier qui peuvent fournir des insights dans toute votre organisation. Power BI peut se connecter à des centaines de sources de données, simplifier la préparation des données et générer une analyse non planifiée. Dans cette architecture, Power BI fournit des fonctions de BI pour l’analyse des données de mainframe répliquées. Power BI est intégré en mode natif à Fabric pour l’analytique unifiée.

Surveillance

  • Azure Monitor est un service de supervision qui fournit une solution pour collecter, analyser et agir sur les données de télémétrie à partir d’environnements cloud et locaux. Parmi les fonctionnalités, on trouve Application Insights, Azure Monitor Logs et Log Analytics. Dans cette architecture, Azure Monitor fournit une surveillance et une observabilité pour les services Azure et les bases de données Azure utilisées comme cibles pour les données mainframe répliquées.

Intégrateurs de données

  • Azure Databricks est une plateforme d’analytique unifiée basée sur Spark qui s’intègre à des bibliothèques open source. Il fournit un espace de travail collaboratif pour l’exécution de charges de travail d’analytique. Vous pouvez utiliser des langages Python, Scala, R et SQL pour générer des pipelines d’extraction, de transformation et de chargement (ETL) et orchestrer des travaux. Dans cette architecture, Azure Databricks traite et transforme les données mainframe répliquées pour la consommation par les services de plateforme de données Azure.

  • Fabric est une plateforme d’analytique basée sur l’IA de bout en bout qui fonctionne sur une plateforme de calcul Spark managée. Dans cette architecture, Fabric Spark ingère et transforme les données mainframe répliquées pour qu’elles soient prêtes à être consommées par la plateforme de données Azure en aval et les services Fabric.

  • Event Hubs est un service d’ingestion de données en temps réel qui peut traiter des millions d’événements par seconde. Vous pouvez ingérer des données à partir de plusieurs sources et les utiliser pour l’analytique en temps réel et mettre à l’échelle Event Hubs en fonction du volume de données. Dans cette architecture, Connect Replicator Engine transmet les données de modification en temps réel de Connect vers Event Hubs, où elles sont ingérées pour un traitement et une analyse quasi en temps réel.

  • Connect est une plateforme d’intégration de données qui peut intégrer des données à partir de plusieurs sources et fournir une réplication en temps réel vers Azure. Vous pouvez l’utiliser pour répliquer des données sans apporter de modifications à votre application. La connexion peut également améliorer les performances des travaux ETL. Dans cette architecture, Connect sert de moteur de réplication de données principal qui capture et migre les données mainframe vers Azure en temps réel. Vous pouvez l’approvisionner à partir de la Place de marché Azure.

Détails du scénario

Vous pouvez utiliser différentes stratégies pour migrer des systèmes mainframe et midrange vers Azure. La migration des données joue un rôle clé dans ce processus. Les organisations commencent généralement par une migration initiale des données en bloc à partir de systèmes mainframe ou midrange vers la plateforme de données Azure. Après la migration initiale, dans une architecture cloud hybride, vous devez établir une réplication continue des données entre les systèmes mainframe ou midrange et la plateforme de données Azure pour conserver les données synchronisées. Pour maintenir l’intégrité des données, vous avez besoin d’une réplication en temps réel pour les applications critiques pour l’entreprise. Connect peut prendre en charge la migration par lots initiale et la réplication à long terme. Utilisez CDC pour les changements en temps réel ou l’ingestion par lots pour les transferts périodiques.

Precisely Connect prend en charge les sources de données mainframe et midrange suivantes :

  • Db2 pour z/OS
  • Db2 pour Linux, UNIX et Windows (LUW)
  • Db2 pour i (AS/400)
  • IBM Information Management System (IMS)
  • Méthode d'accès au stockage virtuel IBM (VSAM)
  • Fichiers et livres de copie

Connect convertit les données dans un format exploitable et les transmet à Event Hubs pour une ingestion à faible latence. Azure Databricks ou Fabric traitent ensuite les données ingérées quasi en temps réel pour leur consommation et leur stockage en aval vers des cibles Azure. Ces cibles incluent SQL Database, Azure Database pour PostgreSQL Flexible Server, Azure Database pour MySQL Flexible Server, Data Lake Storage et Fabric (lakehouses Fabric, entrepôts de données Fabric ou les bases de données SQL dans Fabric). Ce pipeline de bout en bout — de la capture CDC à l’ingestion dans Event Hubs, puis au traitement dans Databricks ou Fabric — permet de rendre les données disponibles en temps quasi réel pour les charges de travail analytiques et opérationnelles. Précisément Connect prend également en charge l’extensibilité en fonction du volume de données et des besoins des clients. Il réplique les données sans affecter les performances ni mettre à rude épreuve le réseau.

Cas d’usage potentiels

  • Réplication des données à partir de sources de données mainframe et midrange vers la plateforme de données Azure
  • Dans une architecture cloud hybride, la synchronisation des données entre les systèmes mainframe ou midrange et la plateforme de données Azure
  • Analytique en temps quasi réel sur Azure, basée sur des données opérationnelles provenant de systèmes mainframe ou midrange
  • Migration de données à partir de systèmes mainframe ou midrange vers Azure sans nécessiter de modifications aux applications sources

Considérations

Ces considérations implémentent les piliers d’Azure Well-Architected Framework, un ensemble de principes directeurs que vous pouvez utiliser pour améliorer la qualité d’une charge de travail. Pour plus d’informations, consultez Well-Architected Framework.

Fiabilité

La fiabilité permet de s’assurer que votre application peut respecter les engagements que vous prenez à vos clients. Pour plus d’informations, consultez liste de contrôle de la revue de conception pour la fiabilité.

Utilisez Azure Monitor pour surveiller l’intégrité et les performances d’Event Hubs, de Azure Databricks et de cibles Azure bases de données. Utilisez le centre de surveillance dans Fabric pour surveiller les travaux dans Fabric. Configurez des alertes pour activer la gestion proactive pendant la migration initiale des données et la réplication en temps quasi réel en cours.

Optimisation des coûts

L’optimisation des coûts se concentre sur les moyens de réduire les dépenses inutiles et d’améliorer l’efficacité opérationnelle. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’optimisation des coûts.

  • La réplication de données vers Azure et le traitement dans Azure services peuvent être moins coûteuses que la maintenance des données dans un système mainframe.
  • Utilisez la vue Analyse des coûts dans Cost Management pour analyser les dépenses. Pour obtenir un point de départ, consultez l’estimation préconfigurée dans la calculatrice de prix Azure. Ajustez-le pour qu’il corresponde à votre charge de travail.
  • Pour optimiser les coûts, vous pouvez utiliser Azure Databricks pour redimensionner votre cluster via la mise à l’échelle automatique. Cette approche peut être moins coûteuse qu’une configuration fixe.
  • Azure Advisor fournit des recommandations pour optimiser les performances et la gestion des coûts.

Efficacité des performances

L’efficacité des performances fait référence à la capacité de votre charge de travail à mettre à l’échelle pour répondre efficacement aux demandes des utilisateurs. Pour plus d’informations, consultez liste de vérification de la révision de conception pour l’efficacité des performances.

  • Precisely Connect peut être mis à l’échelle en fonction du volume de données et optimiser la réplication des données.
  • Le moteur de réplication Connect peut distribuer des données pour un traitement parallèle. Vous pouvez équilibrer la distribution en fonction de l’ingestion des charges de travail.
  • SQL Database serverless peut être mis à l’échelle automatiquement en fonction du volume de charges de travail.
  • Event Hubs peut être mis à l’échelle en fonction des unités de débit et du nombre de partitions. Déterminez le nombre de partitions en fonction du débit maximal attendu de votre charge de travail CDC.

Contributeurs

Microsoft gère cet article. Les contributeurs suivants ont écrit cet article.

Auteur principal :

Autre contributeur :

Pour afficher les profils LinkedIn non publics, connectez-vous à LinkedIn.

Étapes suivantes