Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Azure Data Factory
Azure Databricks
Microsoft Fabric
Ideias de soluções
Este artigo descreve uma ideia de solução. O seu arquiteto de nuvem pode usar estas diretrizes para ajudar a visualizar os componentes principais de uma implementação típica desta arquitetura. Use este artigo como ponto de partida para conceber uma solução bem arquitetada que se alinhe com os requisitos específicos da sua carga de trabalho.
Este artigo explica como replicar e sincronizar dados com o Azure durante a modernização do mainframe. Descreve os aspetos técnicos desta ideia de solução, como armazenamentos de dados, ferramentas e serviços. Os sistemas mainframe e midrange atualizam bancos de dados de aplicativos locais em intervalos regulares. Para manter a consistência, esta solução sincroniza os dados mais recentes com os bancos de dados do Azure.
Arquitetura
Descarregue um ficheiro Visio desta arquitetura.
Workflow
O fluxo de trabalho a seguir corresponde ao diagrama anterior:
Os pipelines dinâmicos do Azure Data Factory orquestram atividades, incluindo extração e carregamento de dados. Você pode agendar atividades de pipeline, iniciá-las manualmente ou acioná-las automaticamente.
Os pipelines agrupam as atividades que realizam tarefas. Para extrair dados, o Azure Data Factory cria dinamicamente um pipeline para cada tabela local. Em seguida, você pode usar uma implementação paralela massiva ao replicar dados no Azure. Configura o nível de replicação com base nos teus requisitos.
Replicação total. Replicar toda a base de dados e modificar os tipos de dados e campos na base de dados Azure de destino.
Replicação parcial, delta ou incremental. Utilize colunas de marca-d’água nas tabelas de origem para sincronizar as linhas atualizadas com as bases de dados Azure. Essas colunas contêm uma chave que se incrementa continuamente ou um carimbo de data/hora que indica quando a tabela foi atualizada pela última vez.
O Azure Data Factory também usa pipelines para as seguintes tarefas de transformação:
Conversão de tipo de dados
Manipulação de dados
Formatação de dados
Derivação de coluna
Achatamento de dados
Classificação de dados
Filtragem de dados
Bases de dados locais, como Db2 zOS, Db2 para i e Db2 LUW, armazenam os dados da aplicação.
Um tempo de execução de integração (IR) auto-hospedado fornece o ambiente que o Azure Data Factory usa para executar e despachar atividades.
O Azure Data Lake Storage Gen2 e o Armazenamento de Blobs do Azure preparam os dados. Este passo pode ser necessário para transformar e fundir dados de múltiplas fontes.
Para a preparação de dados, o Azure Data Factory usa o Azure Databricks, atividades personalizadas e fluxos de dados de pipeline para transformar dados de forma rápida e eficaz.
O Azure Data Factory carrega dados nos seguintes bancos de dados relacionais e não relacionais do Azure:
SQL do Azure
Base de Dados do Azure para PostgreSQL
Azure Cosmos DB
Azure Data Lake Storage
Base de Dados do Azure para MySQL
O SQL Server Integration Services (SSIS) extrai, transforma e carrega dados.
O gateway de dados on-premises é uma aplicação cliente Windows local que funciona como ponte entre as suas fontes de dados locais on-premises e os serviços do Azure.
Um pipeline de dados Microsoft Fabric é um agrupamento lógico de atividades que realizam a ingestão de dados do Db2 para o armazenamento e bases de dados do Azure.
Se a solução exigir replicação quase em tempo real, pode usar ferramentas que não sejam da Microsoft.
Se estas ferramentas não conseguirem aceder às bases de dados Db2 locais, extrai os dados e cria um processo de migração personalizado para carregar os ficheiros extraídos nas bases de dados de destino.
Componentes
Esta secção descreve outras ferramentas que pode usar durante a modernização de dados, sincronização e integração de dados.
Integradores de dados
Azure Data Factory é um serviço híbrido de integração de dados. Você pode usar essa solução totalmente gerenciada e sem servidor para criar, agendar e orquestrar fluxos de trabalho de extração, transformação e carregamento (ETL) e fluxos de trabalho de extração, carregamento e transformação (ELT).
A Fabric é uma plataforma de análise empresarial que acelera o tempo para obter insights em engenharia de dados, armazenamento de dados, integração de dados, análises em tempo real e inteligência de negócios. Fabric é uma solução de software como serviço (SaaS) que utiliza armazenamento centralizado no OneLake. A Fabric combina as seguintes tecnologias e serviços:
As tecnologias SQL para armazenamento de dados empresariais estão disponíveis através do Fabric Data Warehouse, que é um armazém transacional gerido que utiliza um formato Delta aberto.
Engenharia de dados em grande escala e aprendizagem automática estão disponíveis através do Fabric Data Engineering, que inclui capacidades integradas do Apache Spark.
Análises quase em tempo real estão disponíveis através do Fabric Real-Time Intelligence, que inclui casas de eventos e fluxos de eventos.
Os fluxos de trabalho ETL e ELT estão disponíveis através do Fabric Data Factory, que inclui pipelines, Dataflow Gen2 e uma variedade de conectores com suporte híbrido e gateway local.
O Fabric tem integrações nativas com o Power BI e com serviços do Azure como o Azure Cosmos DB e o Azure Machine Learning.
O SSIS é uma plataforma para soluções de integração e transformação de dados a nível empresarial. Use o SSIS para gerir, replicar, limpar e extrair dados.
Azure Databricks é uma plataforma de análise de dados baseada no sistema de processamento distribuído open-source Spark. O Azure Databricks está otimizado para a plataforma cloud Azure. Em um fluxo de trabalho de análise, o Azure Databricks lê dados de várias fontes e usa o Spark para fornecer informações.
Armazenamento de dados
Base de Dados SQL do Azure é uma plataforma totalmente gerida, baseada na cloud como serviço (PaaS). O SQL Database oferece funcionalidades automatizadas alimentadas por IA que otimizam o desempenho e a durabilidade. As opções de computação sem servidor e armazenamento Hyperscale dimensionam automaticamente os recursos sob demanda.
Azure SQL Managed Instance é um serviço de base de dados na nuvem totalmente gerido, inteligente e escalável, que tem compatibilidade com o motor SQL Server. Use a Instância Gerenciada SQL para modernizar aplicativos existentes em escala.
O SQL Server nas Máquinas Virtuais do Azure rehospeda cargas de trabalho SQL Server compatíveis com código na cloud. O SQL Server nas Máquinas Virtuais do Azure combina o desempenho, a segurança e a análise do SQL Server com a flexibilidade e conectividade híbrida do Azure. Para migrar aplicações existentes ou criar novas aplicações, use o SQL Server nas Máquinas Virtuais do Azure.
Base de Dados do Azure para PostgreSQL é um serviço de base de dados relacional totalmente gerido baseado na edição comunitária do motor de base de dados open-source PostgreSQL. O Base de Dados do Azure para PostgreSQL oferece funcionalidades de inovação de aplicações escaláveis.
O Azure Cosmos DB é um banco de dados de vários modelos distribuído globalmente. Utilize o Azure Cosmos DB para garantir que as suas soluções consigam dimensionar, de forma elástica e independente, o débito e o armazenamento em várias regiões geográficas.
Data Lake Storage é um repositório de armazenamento que armazena grandes quantidades de dados nativos e brutos. Os armazenamentos de data lake são otimizados para dimensionamento para terabytes e petabytes de dados. Os dados provêm tipicamente de múltiplas fontes heterogéneas e podem ser estruturados, semiestruturados ou não estruturados. O Data Lake Storage Gen2 combina os recursos do Data Lake Storage Gen1 com o Armazenamento de Blobs. O Data Lake Storage Gen2 fornece semântica do sistema de ficheiros, segurança ao nível de ficheiros e escala. Ele também fornece os recursos de armazenamento em camadas, alta disponibilidade e recuperação de desastres do Armazenamento de Blobs.
Base de Dados do Azure para MySQL é um serviço de base de dados relacional totalmente gerido baseado na edição comunitária do motor de base de dados MySQL de código aberto.
Outras ferramentas
serviço Microsoft for Distributed Relational Database Architecture (DRDA) é um componente do Host Integration Server. O serviço Microsoft for DRDA é um servidor de aplicações que os clientes de solicitação de aplicações (AR) do DRDA utilizam. Exemplos de clientes DRDA AR incluem IBM Db2 para z/OS e Db2 para i5/OS. Esses clientes usam o servidor de aplicativos para converter instruções SQL do DB2 e executá-las no SQL Server.
O Assistente de Migração do SQL Server (SSMA) para Db2 automatiza a migração do Db2 para os serviços de base de dados da Microsoft. A ferramenta SSMA para Db2 corre numa máquina virtual. Converte objetos de base de dados Db2 em objetos de base de dados SQL Server e cria esses objetos no SQL Server.
Alternatives
Esta arquitetura mostra opções e alvos de base de dados Azure para replicação e sincronização de dados de mainframe. Também pode replicar e sincronizar com os seguintes alvos SQL do Azure:
SQL Managed Instance é um serviço de base de dados totalmente gerido na nuvem. O SQL Managed Instance é compatível com o motor SQL Server. Use o SQL Managed Instance para modernizar aplicações em grande escala.
O SQL Server nas Máquinas Virtuais do Azure rehospeda cargas de trabalho do SQL Server na cloud sem alterações de código. O SQL Server nas Máquinas Virtuais do Azure combina o desempenho, a segurança e a análise do SQL Server com a flexibilidade e conectividade híbrida do Azure. Para migrar aplicações existentes ou criar novas aplicações, use o SQL Server nas Máquinas Virtuais do Azure.
Detalhes do cenário
A disponibilidade e a integridade dos dados são essenciais para a modernização de sistemas mainframe e de gama intermédia. As estratégias baseadas nos dados ajudam a manter os dados intactos e disponíveis durante a migração para o Azure. Para evitar perturbações durante a modernização, poderá ser necessário replicar dados rapidamente ou sincronizar dados locais com bases de dados Azure.
Esta solução cobre:
Extração. Liga-te e extrai dados de uma base de dados de origem.
Transformação, incluindo:
Preparação: Armazene temporariamente os dados no seu formato original, preparando-os para transformação.
Preparação. Transforme e manipule dados usando regras de mapeamento que cumpram os requisitos da base de dados alvo.
A carregar. Insira dados numa base de dados alvo.
Potenciais casos de utilização
Use esta solução nos seguintes cenários de replicação e sincronização de dados:
Arquiteturas de Segregação de Responsabilidade por Consulta de Comandos que utilizam o Azure para servir todos os canais de consulta
Ambientes que testam aplicações on-premises e aplicações realojadas ou reengenheiradas em paralelo
Sistemas on-premises que utilizam aplicações fortemente acopladas que requerem remediação faseada ou modernização
Recommendations
Você pode aplicar as seguintes recomendações à maioria dos cenários. Siga-as, a não ser que tenha requisitos específicos que as anulem.
Se usar o Azure Data Factory para extrair dados, ajuste o desempenho da atividade de cópia. Quando usar o Fabric Data Factory para extrair dados, ajuste o paralelismo, o tamanho do lote e as definições do conector para otimizar o desempenho do pipeline. Para mais informações, consulte Visão geral do Oleoduto e Visão Geral do Conector.
Contributors
A Microsoft mantém este artigo. Os seguintes colaboradores escreveram este artigo.
Autor principal:
- Rodrigo Rodríguez | Arquiteto de Soluções Cloud Senior, AI & Quantum
Para ver perfis não públicos do LinkedIn, faça login no LinkedIn.