Replicación de datos del sistema central mediante Precisely Connect

Azure SQL Database
Instancia administrada de Azure SQL
Microsoft Fabric
Azure Databricks
Azure Event Hubs

En este artículo se describe cómo usar Precisely Connect para migrar sistemas centrales y de rango medio a Azure. Connect proporciona replicación de datos en tiempo real desde sistemas heredados a Azure mediante la captura de datos modificados (CDC).

Esta solución proporciona coherencia de datos entre entornos de sistema central locales y Azure, a la vez que minimiza el efecto en el rendimiento del sistema de origen. La arquitectura admite varios orígenes de datos de sistema central y de rango medio y replica datos en destinos de Azure, como Azure SQL Database, Azure Event Hubs y Microsoft Fabric.

Apache®, Spark y el logotipo de la llama son marcas registradas o marcas comerciales de Apache Software Foundation en los Estados Unidos y otros países. El uso de estas marcas no implica la aprobación de Apache Software Foundation.

Arquitectura

Diagrama que muestra una arquitectura para migrar sistemas centrales y de rango medio a Azure.

Descargue un archivo Visio de esta arquitectura.

Flujo de trabajo

El siguiente flujo de trabajo corresponde al diagrama anterior:

  1. Un componente del agente de Connect captura los registros de cambios mediante las utilidades nativas de sistema central o de rango medio y almacena en caché los registros en el almacenamiento temporal.
  2. En el caso de los sistemas centrales, un componente de publicador en el sistema central administra la migración de datos.
  3. En el caso de los sistemas de rango medio, un componente de escucha administra la migración de datos en lugar de un publicador. El agente de escucha reside en una máquina Windows o Linux.
  4. El publicador o el agente de escucha mueven los datos del entorno local a Azure a través de Azure ExpressRoute. El publicador o el cliente de escucha controlan la confirmación y reversión de las transacciones para cada unidad de trabajo, que mantiene la integridad de los datos.
  5. El motor de replicación de Connect captura los datos del publicador o del oyente y los aplica al objetivo. Distribuye los datos para el procesamiento paralelo.
  6. Event Hubs recibe cambios de datos en tiempo real desde Connect Replicator Engine para su procesamiento casi en tiempo real.
  7. Azure Databricks o Fabric procesa los datos ingeridos. Los datos procesados se almacenan en destinos de Azure, como SQL Database, Azure Database for PostgreSQL Flexible Server, Azure Data Lake Storage o los lakehouses y almacenes de datos de Fabric, para análisis posteriores e inteligencia de negocio (BI).
  8. El Connect Controller Daemon autentica la solicitud y establece la conexión de socket entre el publicador o el escucha y el Replicator Engine.

Componentes

Esta arquitectura usa los siguientes componentes.

Redes e identidad

  • Azure ExpressRoute es un servicio de conectividad que extiende las redes locales a la plataforma en la nube de Azure a través de una conexión privada desde un proveedor de conectividad. En esta arquitectura, ExpressRoute proporciona una conexión segura y de alto ancho de banda para replicar datos del sistema central en Azure.

  • Azure VPN Gateway es un servicio de puerta de enlace de red virtual que permite crear puertas de enlace de red virtual que envían tráfico cifrado entre una red virtual de Azure y una ubicación local a través de la red pública de Internet. En esta arquitectura, puede usar VPN Gateway como alternativa a ExpressRoute para conectar sistemas centrales a Azure cuando una conexión privada no está disponible.

  • Microsoft Entra ID es un servicio de administración de identidades y acceso que puede sincronizarse con Active Directory local. En esta arquitectura, Microsoft Entra ID administra la autenticación y el control de acceso para los componentes connect que acceden a los recursos de Azure.

Almacenamiento

  • Azure Database for MySQL es un servicio de base de datos relacional administrado basado en la edición community del motor de base de datos MySQL de código abierto. En esta arquitectura, Azure Database for MySQL proporciona una opción de destino para los datos replicados del sistema central.

  • Azure Database for PostgreSQL: Servidor flexible es un servicio de base de datos relacional totalmente administrado basado en la edición de la comunidad del motor de base de datos PostgreSQL. En esta arquitectura, Azure Database for PostgreSQL Flexible Server actúa como base de datos de destino para la replicación de datos del mainframe.

  • Azure SQL Database es un motor de base de datos de plataforma como servicio (PaaS) que forma parte de la familia de Azure SQL. Está diseñado para la nube y proporciona todas las ventajas de un PaaS administrado y perenne. SQL Database también proporciona características automatizadas basadas en IA que optimizan el rendimiento y la durabilidad. Las opciones de almacenamiento de hiperescala y proceso sin servidor escalan automáticamente los recursos a petición. En esta arquitectura, SQL Database actúa como base de datos de destino para recibir datos de sistema central replicados a través de open Database Connectivity (ODBC) o conexiones de base de datos nativas.

  • Azure SQL Managed Instance es un servicio de base de datos en la nube que proporciona todas las ventajas de un PaaS administrado y perenne. SQL Managed Instance tiene una compatibilidad casi completa con el motor de base de datos de SQL Server Enterprise Edition más reciente. También proporciona una implementación de red virtual nativa que aborda problemas de seguridad comunes. En esta arquitectura, SQL Managed Instance puede servir como destino para los datos del sistema central que requieren compatibilidad con SQL Server.

  • Azure Storage es una solución de almacenamiento en la nube que incluye el almacenamiento de objetos, archivos, discos, colas y tablas. Entre los servicios se incluyen soluciones y herramientas de almacenamiento híbridas para transferir, compartir y realizar copias de seguridad de los datos. En esta arquitectura, Storage proporciona almacenamiento escalable para los datos replicados del sistema central y el almacenamiento en caché temporal.

  • OneLake es el lago de datos unificado para Fabric. En esta arquitectura, OneLake actúa como almacenamiento para los datos ingeridos desde Event Hubs. Use métodos abreviados de OneLake para proporcionar acceso de copia cero a los datos almacenados en Data Lake Storage u otro almacenamiento en la nube sin duplicar datos.

  • Fabric es una plataforma de análisis que unifica el movimiento de datos, el procesamiento de datos, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. En esta arquitectura, Fabric (almacenes de lago, almacenes de datos o SQL Database dentro de Fabric) actúa como destino de almacenamiento relacional para el análisis y la capa de BI.

Análisis e informes

  • Power BI es un grupo de herramientas de análisis empresarial que pueden proporcionar información en toda la organización. Power BI puede conectarse a cientos de orígenes de datos, simplificar la preparación de datos e impulsar análisis no planeados. En esta arquitectura, Power BI proporciona funcionalidades de BI para analizar los datos del sistema central replicado. Power BI se integra de forma nativa con Fabric para el análisis unificado.

Supervisión

  • Azure Monitor es un servicio de supervisión que proporciona una solución para recopilar, analizar y actuar sobre la telemetría de entornos locales y en la nube. Entre las características se incluyen Application Insights, los registros de Azure Monitor y Log Analytics. En esta arquitectura, Azure Monitor proporciona supervisión y observabilidad para los servicios Azure y las bases de datos de Azure que se usan como destinos para los datos del sistema central replicado.

Integradores de datos

  • Azure Databricks es una plataforma de análisis unificada basada en Spark que se integra con bibliotecas de código abierto. Proporciona un área de trabajo colaborativa para ejecutar cargas de trabajo de análisis. Puede usar Python, lenguajes Scala, R y SQL para compilar canalizaciones de extracción, transformación y carga (ETL) y orquestar trabajos. En esta arquitectura, Azure Databricks procesa y transforma los datos del sistema central replicados para su consumo por parte de los servicios de la plataforma de datos de Azure.

  • Fabric es una plataforma de análisis con tecnología de inteligencia artificial de un extremo a otro que funciona en una plataforma de proceso de Spark administrada. En esta arquitectura, Fabric Spark ingiere y transforma los datos del sistema central replicados para que estén listos para su consumo por parte de la plataforma de datos de Azure y los servicios de Fabric en los procesos posteriores.

  • Event Hubs es un servicio de ingesta de datos en tiempo real que puede procesar millones de eventos por segundo. Puede ingerir datos de varios orígenes y usarlos para el análisis en tiempo real y escalar Event Hubs en función del volumen de datos. En esta arquitectura, Connect Replicator Engine envía datos de cambios en tiempo real desde Connect a Event Hubs, que los ingiere para su procesamiento y análisis casi en tiempo real.

  • Precisamente Connect es una plataforma de integración de datos que puede integrar datos de varios orígenes y proporcionar replicación en tiempo real a Azure. Puede usarlo para replicar datos sin realizar cambios en la aplicación. Connect también puede mejorar el rendimiento de los trabajos de ETL. En esta arquitectura, Connect actúa como el motor de replicación de datos principal que captura y migra datos del sistema central a Azure en tiempo real. Puede aprovisionarla desde el Azure Marketplace.

Detalles del escenario

Puede usar varias estrategias para migrar sistemas centrales y de rango medio a Azure. La migración de datos desempeña un papel clave en este proceso. Normalmente, las organizaciones comienzan con una migración de datos masiva inicial desde sistemas centrales o intermedios a la plataforma de datos de Azure. Después de la migración inicial, en una arquitectura de nube híbrida, debe establecer la replicación de datos en curso entre sistemas centrales o intermedios y la plataforma de datos Azure para mantener los datos sincronizados. Para mantener la integridad de los datos, necesita la replicación en tiempo real para las aplicaciones críticas para la empresa. Connect puede admitir la migración por lotes inicial y la replicación a largo plazo. Utilice CDC para cambios en tiempo real o ingesta por lotes para transferencias periódicas.

Precisamente Connect admite los siguientes orígenes de datos de sistema central y de rango medio:

  • Db2 para z/OS
  • Db2 para Linux, UNIX y Windows (LUW)
  • Db2 para i (AS/400)
  • IBM Information Management System (IMS)
  • Método de acceso de almacenamiento virtual de IBM (VSAM)
  • Archivos y libros de copia

Connect convierte los datos en un formato consumible y lo transmite a Event Hubs para la ingesta de baja latencia. Azure Databricks o Fabric procesan luego los datos ingeridos en tiempo casi real para su consumo posterior y almacenamiento en destinos de Azure. Estos destinos incluyen SQL Database, Azure Database for PostgreSQL - Servidor flexible, Azure Database for MySQL - Servidor flexible, Data Lake Storage y Fabric (lakehouses de Fabric, almacenes de datos de Fabric o bases de datos SQL en Fabric). En conjunto, esta canalización integral —desde la captura de CDC, pasando por la ingesta en Event Hubs, hasta el procesamiento en Databricks o en Fabric— permite disponer de datos casi en tiempo real para análisis y cargas de trabajo operativas. Precisamente Connect también admite la escalabilidad en función del volumen de datos y los requisitos de los clientes. Replica los datos sin afectar al rendimiento ni a la tensión de la red.

Posibles casos de uso

  • Replicación de datos desde orígenes de datos centrales y intermedios a la plataforma de datos de Azure
  • En una arquitectura de nube híbrida, la sincronización de datos entre sistemas centrales o intermedios y la plataforma de datos de Azure
  • Análisis casi en tiempo real en Azure, en función de los datos operativos de sistemas centrales o intermedios
  • Migración de datos de sistemas centrales o intermedios a Azure sin necesidad de modificaciones en las aplicaciones de origen

Consideraciones

Estas consideraciones implementan los pilares del Azure Well-Architected Framework, que es un conjunto de principios rectores que puede utilizar para mejorar la calidad de una carga de trabajo. Para obtener más información, vea Well-Architected Framework.

Confiabilidad

La confiabilidad ayuda a garantizar que la aplicación pueda cumplir los compromisos que realice para sus clientes. Para obtener más información, vea Lista de comprobación de revisión de diseño para confiabilidad.

Use Azure Monitor para supervisar el estado y el rendimiento de Event Hubs, Azure Databricks y bases de datos de Azure de destino. Use el centro de supervisión en Fabric para supervisar los trabajos de Fabric. Configure las alertas para permitir una gestión proactiva durante la migración inicial de datos y la replicación continua casi en tiempo real.

Optimización de costos

La optimización de costos se centra en formas de reducir los gastos innecesarios y mejorar las eficiencias operativas. Para obtener más información, consulte Lista de comprobación de revisión de diseño para la optimización de costos.

  • La replicación de datos en Azure y procesamiento en servicios Azure puede ser menos costoso que mantener los datos en un sistema central.
  • Use la vista de análisis de costos en Cost Management para analizar los gastos. Para obtener un punto de partida, consulte la estimación preconfigurada en la calculadora de precios de Azure. Ajustarlo para que coincida con la carga de trabajo.
  • Para optimizar los costos, puede usar Azure Databricks para cambiar el tamaño del clúster mediante el escalado automático. Este enfoque puede ser menos costoso que una configuración fija.
  • Azure Advisor proporciona recomendaciones para optimizar el rendimiento y la administración de costos.

Eficiencia del rendimiento

La eficiencia del rendimiento hace referencia a la capacidad de escalado de la carga de trabajo para satisfacer las demandas de los usuarios de forma eficaz. Para obtener más información, vea Lista de comprobación de revisión de diseño para la eficiencia del rendimiento.

  • Precisely Connect puede escalar en función del volumen de datos y optimizar la replicación de datos.
  • El motor de replicador de Connect puede distribuir los datos para el procesamiento paralelo. Puede equilibrar la distribución en función de la ingesta de cargas de trabajo.
  • SQL Database sin servidor se puede escalar automáticamente en función del volumen de las cargas de trabajo.
  • Event Hubs se puede escalar en función de las unidades de procesamiento y el número de particiones. Determine el número de particiones en función del rendimiento máximo esperado de su carga de trabajo de CDC.

Colaboradores

Microsoft mantiene este artículo. Los colaboradores siguientes escribieron este artículo.

Autor principal:

Otro colaborador:

Para ver los perfiles no públicos de LinkedIn, inicie sesión en LinkedIn.

Pasos siguientes