Replicar dados de mainframe usando o Precisely Connect

Base de Dados SQL do Azure

Instância Gerida do SQL do Azure

Microsoft Fabric

Azure Databricks

Hubs de Eventos do Azure

Este artigo descreve como usar o Precisely Connect para migrar sistemas de mainframe e midrange para o Azure. O Connect fornece replicação de dados em tempo real de sistemas legados para o Azure através da captura de dados de alteração (CDC).

Esta solução proporciona consistência de dados entre ambientes mainframe on-premises e Azure, minimizando o impacto no desempenho do sistema de origem. A arquitetura suporta várias fontes de dados mainframe e midrange e replica dados para alvos Azure como Base de Dados SQL do Azure, Hubs de Eventos do Azure e Microsoft Fabric.

Apache®, Spark e o logotipo flame são marcas registradas ou marcas comerciais da Apache Software Foundation nos Estados Unidos e/ou em outros países. Nenhum endosso da Apache Software Foundation está implícito no uso dessas marcas.

Arquitetura

Faça download de um ficheiro Visio desta arquitetura.

Workflow

O fluxo de trabalho a seguir corresponde ao diagrama anterior:

Um componente do agente Connect captura logs de alterações usando utilitários nativos de mainframe ou midrange e armazena em cache os logs no armazenamento temporário.
Para sistemas de mainframe, um componente de publicação no mainframe gere a migração de dados.
Para sistemas de gama intermédia, um componente de ouvinte gere a migração de dados em vez de um editor. O ouvinte reside numa máquina Windows ou Linux.
O editor ou ouvinte transfere os dados das instalações para o Azure através do Azure ExpressRoute. O publicador ou ouvinte realiza o commit e o rollback das transações para cada unidade de trabalho, mantendo assim a integridade dos dados transacionados.
O Connect Replicator Engine captura os dados do editor ou do receptor de dados e aplica-os ao destino. Distribui dados para processamento paralelo.
Os Event Hubs ingerem alterações de dados em tempo real do Connect Replicator Engine para processamento quase em tempo real.
Azure Databricks ou Fabric processa os dados ingeridos. Os dados processados são armazenados em destinos no Azure, como o SQL Database, o Base de Dados do Azure para PostgreSQL Flexible Server, o Azure Data Lake Storage, ou em lakehouses e armazéns de dados do Fabric, para análises posteriores e inteligência empresarial (BI).
O Daemon do Connect Controller autentica a solicitação e estabelece a conexão de soquete entre o editor ou ouvinte e o Replicator Engine.

Componentes

Essa arquitetura usa os seguintes componentes.

Rede de computadores e identidade

O Azure ExpressRoute é um serviço de conectividade que estende suas redes locais para a plataforma de nuvem do Azure por meio de uma conexão privada de um provedor de conectividade. Nessa arquitetura, o ExpressRoute fornece uma conexão segura e de alta largura de banda para replicar dados de mainframe para o Azure.
O Gateway de VPN do Azure é um serviço de gateway de rede virtual que permite criar gateways de rede virtual que enviam tráfego criptografado entre uma rede virtual do Azure e um local local pela Internet pública. Nesta arquitetura, pode usar o Gateway de VPN como alternativa ao ExpressRoute para ligar sistemas mainframe ao Azure quando uma ligação privada não estiver disponível.
O Microsoft Entra ID é um serviço de gerenciamento de identidade e acesso que pode ser sincronizado com o Ative Directory local. Nesta arquitetura, o Microsoft Entra ID gere a autenticação e o controlo de acessos para os componentes Connect que acedem aos recursos do Azure.

Armazenamento

O Banco de Dados do Azure para MySQL é um serviço de banco de dados relacional gerenciado baseado na edição da comunidade do mecanismo de banco de dados MySQL de código aberto. Nesta arquitetura, o Base de Dados do Azure para MySQL fornece uma opção de alvo para dados replicados de mainframe.
Base de Dados do Azure para PostgreSQL Flexible Server é um serviço de base de dados relacional totalmente gerido baseado na edição comunitária do motor de base de dados PostgreSQL. Nesta arquitetura, o Base de Dados do Azure para PostgreSQL Flexible Server serve como base de datos alvo para replicação de dados em mainframes.
O Banco de Dados SQL do Azure é um mecanismo de banco de dados de plataforma como serviço (PaaS) que faz parte da família SQL do Azure. Foi construído para a nuvem e oferece todos os benefícios de um PaaS gerido e sempre atualizado. O Banco de Dados SQL também fornece recursos automatizados baseados em IA que otimizam o desempenho e a durabilidade. As opções de computação sem servidor e armazenamento Hyperscale dimensionam automaticamente os recursos sob demanda. Nesta arquitetura, as bases de dados SQL servem como bases de dados alvo para receber dados replicados do mainframe via Open Database Connectivity (ODBC) ou ligações nativas às bases de dados.
Azure SQL Managed Instance é um serviço de base de dados na cloud que oferece todos os benefícios de um PaaS gerido e sempre atualizado. A Instância Gerida SQL tem quase total compatibilidade com o mais recente motor de base de dados da edição Enterprise do SQL Server. Ele também fornece uma implementação de rede virtual nativa que aborda preocupações comuns de segurança. Nessa arquitetura, a Instância Gerenciada do SQL pode servir como destino para dados de mainframe que exigem compatibilidade com o SQL Server.
O Armazenamento do Azure é uma solução de armazenamento em nuvem que inclui armazenamento de objetos, ficheiros, discos, filas e tabelas. Os serviços incluem soluções de armazenamento híbrido e ferramentas para transferência, compartilhamento e backup de dados. Nessa arquitetura, o armazenamento fornece armazenamento escalável para dados de mainframe replicados e cache temporário.
O OneLake é o data lake unificado para o Fabric. Nesta arquitetura, o OneLake serve como armazenamento para os dados ingeridos dos Centros de Eventos. Use atalhos OneLake para fornecer acesso sem cópia a dados armazenados no Data Lake Storage ou noutro armazenamento na cloud sem duplicar dados.
O Fabric é uma plataforma de análise que unifica movimentação de dados, processamento de dados, ingestão, transformação, roteamento de eventos em tempo real e criação de relatórios. Nesta arquitetura, o Fabric (lakehouses, armazéns ou base de dados SQL dentro do Fabric) serve como destino de armazenamento relacional para análises e para a camada BI.

Análise e relatórios

O Power BI é um grupo de ferramentas de análise empresarial que pode fornecer informações em toda a sua organização. O Power BI pode ligar-se a centenas de fontes de dados, simplificar a preparação de dados e impulsionar análises não planeadas. Nesta arquitetura, o Power BI fornece capacidades de BI para analisar dados replicados de mainframe. O Power BI está integrado nativamente com o Fabric para análises unificadas.

Monitorização

O Azure Monitor é um serviço de monitorização que fornece uma solução para recolher, analisar e atuar em telemetria a partir de ambientes na cloud e on-premises. Os recursos incluem Application Insights, Azure Monitor Logs, e Log Analytics. Nesta arquitetura, o Azure Monitor fornece monitorização e observabilidade para os serviços Azure e bases de dados Azure usados como alvos para os dados replicados do mainframe.

Integradores de dados

O Azure Databricks é uma plataforma unificada de análise baseada no Spark que se integra com bibliotecas open-source. Ele fornece um espaço de trabalho colaborativo para executar cargas de trabalho de análise. Pode usar linguagens Python, Scala, R e SQL para construir pipelines de extração, transformação e carregamento (ETL) e orquestrar trabalhos. Nessa arquitetura, o Azure Databricks processa e transforma os dados de mainframe replicados para consumo pelos serviços da plataforma de dados do Azure.
A Fabric é uma plataforma de análise de IA de ponta a ponta que opera numa plataforma de computação Spark gerida. Nesta arquitetura, o Fabric Spark ingere e transforma dados replicados do mainframe para os tornar prontos para análise e consumo pela plataforma de dados Azure a jusante e pelos serviços Fabric.
Os Hubs de Eventos são um serviço de ingestão de dados em tempo real que pode processar milhões de eventos por segundo. Pode ingerir dados de múltiplas fontes e usá-los para análises em tempo real, e escalar Centros de Eventos com base no volume de dados. Nesta arquitetura, o Connect Replicator Engine envia dados de alterações em tempo real do Connect para os Event Hubs, que os ingerem para processamento e análise quase em tempo real.
O Precisely Connect é uma plataforma de integração de dados que pode integrar dados de várias fontes e fornecer replicação em tempo real para o Azure. Você pode usá-lo para replicar dados sem fazer alterações em seu aplicativo. O Connect também pode melhorar o desempenho de trabalhos de ETL. Nesta arquitetura, o Connect serve como o principal motor de replicação de dados que captura e migra dados do mainframe para o Azure em tempo real. Podes provisioná-lo a partir do Azure Marketplace.

Detalhes do cenário

Você pode usar várias estratégias para migrar sistemas de mainframe e midrange para o Azure. A migração de dados desempenha um papel fundamental neste processo. As organizações normalmente começam com uma migração inicial em massa de dados de sistemas mainframe ou intermédios para a plataforma de dados Azure. Após a migração inicial, numa arquitetura cloud híbrida, deve estabelecer uma replicação contínua de dados entre sistemas mainframe ou intermédios e a plataforma de dados Azure para manter os dados sincronizados. Para manter a integridade dos dados, você precisa de replicação em tempo real para aplicativos críticos para os negócios. O Connect pode suportar a migração inicial em lote e a replicação a longo prazo. Use o CDC para alterações em tempo real ou ingestão em lote para transferências periódicas.

O Precisely Connect suporta as seguintes fontes de dados mainframe e midrange:

DB2 para z/OS
Db2 para Linux, UNIX e Windows (LUW)
Db2 para i (AS/400)
Sistema de Gestão de Informação IBM (IMS)
Método de Acesso ao Armazenamento Virtual IBM (VSAM)
Ficheiros e coleções de cópia

O Connect converte os dados num formato utilizável e envia-os para o Event Hubs para ingestão com baixa latência. O Azure Databricks ou o Fabric processam então os dados ingeridos em quase tempo real para consumo posterior e armazenamento em destinos no Azure. Estes alvos incluem SQL Database, Base de Dados do Azure para PostgreSQL Flexible Server, Base de Dados do Azure para MySQL Flexible Server, Data Lake Storage e Fabric (Fabric lakehouses, Fabric warehouses ou bases de dados SQL em Fabric). No seu conjunto, este fluxo de ponta a ponta — desde a captura via CDC, passando pela ingestão no Event Hubs e pelo processamento no Databricks ou no Fabric — permite disponibilizar dados quase em tempo real para análises e cargas de trabalho operacionais. O Precisely Connect também suporta escalabilidade com base no volume de dados e nas necessidades do cliente. Ele replica dados sem afetar o desempenho ou sobrecarregar a rede.

Potenciais casos de utilização

Replicação de dados a partir de fontes de dados mainframe e de gama média para a plataforma de dados Azure
Numa arquitetura cloud híbrida, sincronização de dados entre sistemas mainframe ou intermédios e a plataforma de dados Azure
Análise quase em tempo real no Azure, baseada em dados operacionais de sistemas mainframe ou de gama média
Migração de dados de sistemas mainframe ou intermédios para o Azure sem necessidade de modificações nas aplicações de origem

Considerações

Essas considerações implementam os pilares do Azure Well-Architected Framework, que é um conjunto de princípios orientadores que você pode usar para melhorar a qualidade de uma carga de trabalho. Para obter mais informações, consulte Well-Architected Framework.

Fiabilidade

A confiabilidade ajuda a garantir que seu aplicativo possa cumprir os compromissos que você assume com seus clientes. Para obter mais informações, consulte Lista de verificação de revisão de design para Confiabilidade.

Use o Azure Monitor para monitorizar a saúde e o desempenho dos Event Hubs, Azure Databricks e bases de dados Azure target. Utilize o Centro de monitorização no Fabric para monitorizar tarefas do Fabric. Configure alertas para permitir uma gestão proativa tanto durante a migração inicial dos dados como durante a replicação quase em tempo real em curso.

Otimização de Custos

A Otimização de Custos concentra-se em formas de reduzir despesas desnecessárias e melhorar a eficiência operacional. Para obter mais informações, consulte Lista de verificação de revisão de projeto para Otimização de custos.

Replicar dados para o Azure e processar em serviços Azure pode ser menos dispendioso do que manter os dados num sistema mainframe.
Use a vista de análise de custos na Gestão de Custos para analisar despesas. Para ponto de partida, consulte a estimativa pré-configurada na calculadora de preços do Azure. Ajusta para corresponder à tua carga de trabalho.
Para otimizar custos, pode usar o Azure Databricks para redimensionar o seu cluster através do autoescalonamento. Esta abordagem pode ser menos dispendiosa do que uma configuração fixa.
O Assistente do Azure fornece recomendações para otimizar o desempenho e a gestão de custos.

Eficiência de desempenho

A Eficiência de Desempenho refere-se à capacidade da sua carga de trabalho de escalar para atender às demandas dos usuários de forma eficiente. Para obter mais informações, consulte Lista de verificação de revisão de design para Eficiência de desempenho.

O Precisely Connect pode escalar com base no volume de dados e otimizar a replicação dos dados.
O Connect Replicator Engine pode distribuir dados para processamento paralelo. Você pode equilibrar a distribuição com base na ingestão de cargas de trabalho.
O Banco de dados SQL sem servidor pode ser dimensionado automaticamente com base no volume de cargas de trabalho.
Os Hubs de Eventos podem ser dimensionados com base nas unidades de taxa de transferência e no número de partições. Determine o número de partições com base no débito de pico esperado da carga de trabalho de CDC.

Contribuidores

A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.

Autor principal:

Seetharaman Sankaran | Arquiteto de Engenharia Sénior

Outros contribuidores:

Gyani Sinha | Engenheiro Sénior de Soluções

Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.

Próximos passos

Comentários

Esta página foi útil?