Replicar dados do mainframe usando o Precisely Connect

Banco de Dados SQL do Azure
Instância Gerenciada do Azure SQL
Microsoft Fabric
Azure Databricks
Hubs de eventos do Azure

Este artigo descreve como usar o Precisely Connect para migrar sistemas do mainframe e midrange para o Azure. O Connect fornece replicação de dados em tempo real dos sistemas legados para o Azure usando a captura de dados de alterações (CDC).

Essa solução fornece consistência de dados entre ambientes de mainframe locais e o Azure, minimizando o efeito no desempenho do sistema de origem. A arquitetura dá suporte a várias fontes de dados de mainframe e midrange e replica dados para destinos do Azure, como Banco de Dados SQL do Azure, Hubs de Eventos do Azure e Microsoft Fabric.

Apache®, Apache Spark e o logotipo da chama são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. O uso desta marca não implica aprovação por parte da Apache Software Foundation.

Arquitetura

Diagrama que mostra uma arquitetura para migrar sistemas de mainframe e midrange para o Azure.

Baixe um arquivo do Visio dessa arquitetura.

Workflow

O fluxo de dados a seguir corresponde ao diagrama anterior:

  1. Um componente do agente Connect captura logs de alteração usando utilitários nativos do mainframe ou midrange e armazena os logs em cache no armazenamento temporário.
  2. Para sistemas de mainframe, um componente de publicação no mainframe gerencia a migração de dados.
  3. Para sistemas midrange, um componente ouvinte gerencia a migração de dados em vez do editor. O ouvinte reside em um computador Windows ou Linux.
  4. O publicador ou ouvinte move os dados do local para Azure por meio de Azure ExpressRoute. O editor ou ouvinte trata a confirmação e a reversão de transações para cada unidade de trabalho, que mantém a integridade dos dados.
  5. O Mecanismo Replicador do Connect captura os dados do publicador ou ouvinte e os aplica ao destino. Ele distribui dados para processamento paralelo.
  6. O Event Hubs captura alterações de dados em tempo real do Connect Replicator Engine para processamento em quase tempo real.
  7. Azure Databricks ou Fabric processa os dados ingeridos. Os dados processados são armazenados em destinos Azure, como Banco de Dados SQL, servidor flexível Banco de Dados do Azure para PostgreSQL, Azure Data Lake Storage ou Fabric lakehouses e armazéns para análise downstream e BI (business intelligence).
  8. O Daemon do Controlador do Connect autentica a solicitação e estabelece a conexão de soquete entre o publicador ou o ouvinte e o Mecanismo do Replicador.

Componentes

Essa arquitetura usa os seguintes componentes.

Rede e identidade

  • O Azure ExpressRoute é um serviço de conectividade que estende suas redes locais para a plataforma de nuvem do Azure por meio de uma conexão privada de um provedor de conectividade. Nessa arquitetura, o ExpressRoute fornece uma conexão segura e de alta largura de banda para replicar dados de mainframe para o Azure.

  • O Gateway de VPN do Azure é um serviço de gateway de rede virtual que permite criar gateways de rede virtual que enviam tráfego criptografado entre uma rede virtual do Azure e um local pela Internet pública. Nessa arquitetura, você pode usar o Gateway de VPN como uma alternativa ao ExpressRoute para conectar sistemas de mainframe ao Azure quando uma conexão privada não estiver disponível.

  • O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que pode ser sincronizado com o Active Directory local. Nessa arquitetura, o Microsoft Entra ID gerencia a autenticação e o controle de acesso dos componentes do Connect que acessam recursos do Azure.

Armazenamento

  • O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de software livre. Nessa arquitetura, o Banco de Dados do Azure para MySQL fornece uma opção de destino para dados de mainframe replicados.

  • Banco de Dados do Azure para PostgreSQL Flexible Server é um serviço de banco de dados relacional totalmente gerenciado, baseado na edição da comunidade do mecanismo de banco de dados do PostgreSQL. Nessa arquitetura, o Banco de Dados do Azure para PostgreSQL Flexible Server serve como banco de dados de destino para a replicação de dados de mainframe.

  • O Banco de Dados SQL do Azure é um mecanismo de banco de dados paaS (plataforma como serviço) que faz parte da família SQL do Azure. Ele foi projetado para a nuvem e fornece todos os benefícios de uma PaaS gerenciada e sempre atualizada. O Banco de Dados SQL também fornece recursos automatizados da plataforma AI que otimizam o desempenho e a durabilidade. As opções de armazenamento de Hiperescala e de computação sem servidor dimensionam automaticamente os recursos sob demanda. Nessa arquitetura, o Banco de Dados SQL serve como um banco de dados de destino para receber dados de mainframe replicados por meio de conexões ODBC (Open Database Connectivity) ou de banco de dados nativo.

  • A Instância Gerenciada de SQL do Azure é um serviço de banco de dados de nuvem que fornece todos os benefícios de um PaaS gerenciado e sempre verde. A Instância Gerenciada de SQL tem compatibilidade quase completa com o mecanismo de banco de dados mais recente do SQL Server Enterprise Edition. Esse serviço também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança. Nessa arquitetura, a Instância Gerenciada de SQL pode servir como um destino para dados de mainframe que exigem compatibilidade com o SQL Server.

  • O Armazenamento do Microsoft Azure é uma solução de armazenamento em nuvem que inclui armazenamento de tabela, arquivo, disco, fila e objeto. Os serviços incluem soluções de armazenamento híbrido e ferramentas para transferir, compartilhar e fazer backup de dados. Nessa arquitetura, o Armazenamento fornece armazenamento escalonável para dados de mainframe replicados e cache temporário.

  • OneLake é o data lake unificado para Fabric. Nessa arquitetura, o OneLake serve como armazenamento para dados ingeridos dos Hubs de Eventos. Use atalhos do OneLake para fornecer acesso de cópia zero aos dados armazenados em Data Lake Storage ou em outro armazenamento em nuvem sem duplicar dados.

  • O Fabric é uma plataforma de análise que unifica a movimentação de dados, o processamento de dados, a ingestão, a transformação, o roteamento de eventos em tempo real e a criação de relatórios. Nessa arquitetura, o Fabric (lakehouses, warehouses ou Banco de Dados SQL no Fabric) serve como destino de armazenamento relacional para análise e para a camada BI.

Análise e relatórios

  • O Power BI é um grupo de ferramentas de análise de negócios que podem fornecer insights em toda a sua organização. O Power BI pode se conectar a centenas de fontes de dados, simplificar a preparação de dados e impulsionar a análise não planejada. Nessa arquitetura, o Power BI fornece recursos de BI para analisar dados de mainframe replicados. O Power BI é integrado nativamente ao Fabric para análise unificada.

Monitoramento

  • O Azure Monitor é um serviço de monitoramento que fornece uma solução para coletar, analisar e agir sobre telemetria de ambientes locais e de nuvem. Os recursos incluem Application Insights, Azure Monitor Logs e Log Analytics. Nesta arquitetura, Azure Monitor fornece monitoramento e observabilidade para os serviços de Azure e bancos de dados Azure usados como destinos para os dados de mainframe replicados.

Integradores de dados

  • O Azure Databricks é uma plataforma de análise unificada baseada no Spark que se integra a bibliotecas de software livre. Ele fornece um espaço de trabalho colaborativo para executar tarefas analíticas. Você pode usar as linguagens Python, Scala, R e SQL para desenvolver pipelines de extração, transformação e carga (ETL) e orquestrar tarefas. Nessa arquitetura, o Azure Databricks processa e transforma os dados de mainframe replicados para consumo pelos serviços da plataforma de dados do Azure.

  • Fabric é uma plataforma de análise baseada em IA de ponta a ponta que opera em uma plataforma de computação do Spark gerenciada. Nessa arquitetura, o Fabric Spark ingere e transforma dados de mainframe replicados para torná-los prontos para análise para consumo pela plataforma de dados downstream do Azure e pelos serviços do Fabric.

  • Os Hubs de Eventos são um serviço de ingestão de dados em tempo real que pode processar milhões de eventos por segundo. Você pode ingerir dados de várias fontes e usá-los para análise em tempo real e dimensionar Os Hubs de Eventos com base no volume de dados. Nessa arquitetura, o mecanismo Connect Replicator envia dados de alterações em tempo real do Connect para o Event Hubs, que os recebe para processamento e análise quase em tempo real.

  • O Precisely Connect é uma plataforma de integração de dados que pode integrar dados de várias fontes e fornecer replicação em tempo real ao Azure. Você pode usá-los para replicar dados sem fazer alterações em seu aplicativo. A conexão também pode melhorar o desempenho dos trabalhos de ETL. Nessa arquitetura, o Connect serve como o mecanismo de replicação de dados primário que captura e migra dados de mainframe para Azure em tempo real. Você pode provisioná-lo do Azure Marketplace.

Detalhes do cenário

Você pode usar várias estratégias para migrar sistemas mainframe e midrange para Azure. A migração de dados desempenha um papel fundamental nesse processo. Normalmente, as organizações começam com uma migração inicial de dados em massa de sistemas de mainframe ou de médio alcance para a plataforma de dados Azure. Após a migração inicial, em uma arquitetura de nuvem híbrida, você deve estabelecer a replicação de dados contínua entre sistemas de mainframe ou de médio alcance e a plataforma de dados Azure para manter os dados sincronizados. Para manter a integridade dos dados, você precisa de replicação em tempo real para aplicativos comercialmente críticos. O Connect pode dar suporte à migração em lote inicial e à replicação de longo prazo. Use CDC para alterações em tempo real ou ingestão em lotes para transferências periódicas.

O Precisely Connect oferece suporte às seguintes fontes de dados de mainframe e de médio porte:

  • Db2 para z/OS
  • Db2 para Linux, UNIX e Windows (LUW)
  • Db2 para i (AS/400)
  • Sistema de Gerenciamento de Informações da IBM (IMS)
  • Método de acesso ao armazenamento virtual da IBM (VSAM)
  • Arquivos e copybooks

O Connect converte os dados em um formato utilizável e os transmite ao Event Hubs para ingestão com baixa latência. O Azure Databricks ou o Fabric processam os dados ingeridos em tempo quase real para consumo por sistemas posteriores e armazenamento em destinos no Azure. Esses destinos incluem Banco de Dados SQL, Servidor Flexível Banco de Dados do Azure para PostgreSQL, Servidor Flexível Banco de Dados do Azure para MySQL, Data Lake Storage e Fabric (Fabric lakehouses, Fabric warehouses ou bancos de dados SQL em Fabric). Em conjunto, esse pipeline de ponta a ponta — da captura de CDC, passando pela ingestão no Event Hubs, até o processamento no Databricks ou no Fabric — viabiliza a disponibilidade de dados quase em tempo real para cargas de trabalho analíticas e operacionais. O Precisely Connect também dá suporte à escalabilidade com base no volume de dados e nos requisitos do cliente. Ele replica dados sem afetar o desempenho ou forçar a rede.

Possíveis casos de uso

  • Replicação de dados de fontes de dados de mainframe e de médio porte para a plataforma de dados do Azure
  • Em uma arquitetura de nuvem híbrida, sincronização de dados entre sistemas mainframe ou midrange e a plataforma de dados do Azure
  • Análise quase em tempo real no Azure, com base em dados operacionais de sistemas de mainframe ou midrange
  • Migração de dados de sistemas de mainframe ou de médio alcance para Azure sem a necessidade de modificações nos aplicativos de origem

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework​, um conjunto de princípios orientadores que você pode usar para aprimorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Confiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você faz aos seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para Confiabilidade.

Use Azure Monitor para monitorar a integridade e o desempenho de Hubs de Eventos, Azure Databricks e bancos de dados de Azure de destino. Use o Hub de Monitoramento no Fabric para monitorar trabalhos do Fabric. Configure alertas para habilitar o gerenciamento proativo durante a migração de dados inicial e a replicação quase em tempo real contínua.

Otimização de custos

A Otimização de Custos concentra-se em maneiras de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de design para Otimização de Custos.

  • Replicar dados para Azure e processamento em serviços de Azure pode ser mais barato do que manter dados em um sistema de mainframe.
  • Use a exibição de análise de custo no Gerenciamento de Custos para analisar os gastos. Para obter um ponto de partida, consulte a estimativa pré-configurada na calculadora de preços Azure. Ajuste-o para corresponder à carga de trabalho.
  • Para otimizar os custos, você pode usar Azure Databricks para redimensionar seu cluster por meio do dimensionamento automático. Essa abordagem pode ser mais barata do que uma configuração fixa.
  • Assistente do Azure fornece recomendações para otimizar o desempenho e o gerenciamento de custos.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da carga de trabalho de dimensionar para atender às demandas do usuário com eficiência. Para obter mais informações, consulte lista de verificação de design para eficiência de desempenho.

  • Precisely Connect pode ser dimensionado com base no volume dos dados e também otimizar sua replicação.
  • O Mecanismo Replicador do Connect pode distribuir dados para processamento paralelo. Você pode balancear a distribuição com base na ingestão de cargas de trabalho.
  • O Banco de Dados SQL sem servidor pode ser dimensionado automaticamente com base no volume de cargas de trabalho.
  • Os Hubs de Eventos podem ser dimensionados com base nas unidades de produtividade e no número de partições. Defina o número de partições com base na taxa de transferência de pico esperada da sua carga de trabalho de CDC.

Colaboradores

A Microsoft mantém este artigo. Os colaboradores a seguir escreveram este artigo.

Autor principal:

Outro colaborador:

Para ver perfis não públicos no LinkedIn, entre no LinkedIn.

Próximas etapas