Planeamento de migração: SQL Server a Fabric Data Warehouse

Aplica-se para:✅ Armazém no Microsoft Fabric

Este artigo detalha a estratégia, considerações e métodos para migrar armazéns de dados de SQL Server para Microsoft Fabric Data Warehouse.

Introdução à migração

Microsoft Fabric é uma solução de análise SaaS completa, para empresas, que oferece um conjunto abrangente de serviços, incluindo Data Factory, Data Engineering, Data Warehousing, Data Science, Real-Time Intelligence e Power BI.

Este artigo descreve opções para esquema (DDL), código de base de dados (DML) e migração de dados, ajudando-o a escolher uma opção para o seu cenário. Utiliza o benchmark da indústria TPC-DS para ilustração e testes de desempenho. Os seus resultados podem variar dependendo de fatores como tipos de dados, largura da tabela e latência de origem.

Preparar-se para a migração

Planeie cuidadosamente o seu projeto de migração antes de começar e certifique-se de que o seu esquema, código e dados são compatíveis com Fabric Data Warehouse. Considere as limitações. Quantifique o trabalho de refatoração dos itens incompatíveis, bem como quaisquer outros recursos necessários antes da entrega da migração.

Outro objetivo fundamental do planeamento é ajustar o seu design para garantir que a sua solução tira pleno partido do elevado desempenho de consultas que o Fabric Data Warehouse foi concebido para proporcionar. Projetar armazéns de dados para escala introduz padrões de design exclusivos, de modo que as abordagens tradicionais nem sempre são as melhores. Revê as diretrizes de desempenho. Embora alguns ajustes de design possam ser feitos após a migração, fazer alterações mais cedo no processo vai poupar-lhe tempo e esforço. A migração de uma tecnologia ou ambiente para outro é sempre um grande esforço.

O diagrama seguinte representa o ciclo de vida da migração. Lista os principais pilares: Avaliar e Avaliar, Planear e Conceber, Migrar, Monitorizar e Governar, e Otimizar e Modernizar, com as tarefas associadas em cada pilar para planear e preparar uma migração suave.

Manual de Procedimentos para migração

Considere as seguintes atividades como um manual de planeamento para a sua migração de SQL Server para Fabric Data Warehouse.

1. Analisar e Avaliar
   1. Identificar objetivos e motivações. Estabeleça resultados claros desejados.
   2. Descubra, avalie e defina a arquitetura existente.
   3. Identificar as principais partes interessadas e patrocinadores.
   4. Defina o âmbito do que será migrado.
      1. Começa pequeno e simples, e prepara-te para múltiplas migrações pequenas.
      2. Comece a acompanhar e documentar todas as etapas do processo.
      3. Faça um inventário de dados e processos para migração.
      4. Defina alterações no modelo de dados, se houver.
      5. Monta o espaço de trabalho Fabric.
   5. Avalie as competências e preferências da sua equipa.
      1. Automatize sempre que possível.
      2. Use ferramentas e funcionalidades integradas para reduzir o esforço de migração.
   6. Treine a equipe logo no início da nova plataforma.
      1. Identifique as necessidades de aperfeiçoamento e os ativos de treinamento, incluindo o Microsoft Learn.
2. Planejar e projetar
   1. Defina a arquitetura desejada.
   2. Selecione os métodos e ferramentas para a migração para realizar as seguintes tarefas:
      1. Extrair dados da fonte.
      2. Converter o esquema (DDL), incluindo metadados para tabelas e vistas.
      3. Ingerir dados, incluindo dados históricos.
         1. Se necessário, reengenheira-se o modelo de dados utilizando o desempenho e a escalabilidade da nova plataforma.
      4. Migrar código de base de dados (DML).
         1. Migre ou refatore procedimentos armazenados e processos de negócios.
   3. Inventarie e extraia os recursos de segurança e as permissões de objeto da fonte.
   4. Conceber e planear a substituição ou modificação de processos ETL ou ELT existentes para carregamento incremental.
      1. Crie processos paralelos ETL ou ELT no novo ambiente.
   5. Prepare um plano de migração detalhado.
      1. Mapeie o estado atual para o novo estado desejado.
3. Migrar
   1. Migra o esquema, os dados e o código.
      1. Extrair dados da fonte.
      2. Converter o esquema (DDL).
      3. Ingerir dados.
      4. Migrar código de base de dados (DML).
   2. Se necessário, escale temporariamente os recursos do SQL Server para aumentar a velocidade de migração.
   3. Aplique segurança e permissões.
   4. Migrar processos ETL ou ELT existentes para carga incremental.
      1. Migrar ou refatorar processos de carga incremental de ETL ou ELT.
      2. Testar e comparar processos paralelos de carga incremental.
   5. Adapte o plano detalhado de migração conforme necessário.
4. Monitorar e governar
   1. Executa em paralelo e compara com o teu ambiente de origem.
      1. Teste aplicativos, plataformas de business intelligence e ferramentas de consulta.
      2. Avalie e otimize o desempenho da consulta.
      3. Monitore e gerencie custos, segurança e desempenho.
   2. Realize um benchmark e avaliação de governação.
5. Otimizar e modernizar
   1. Quando a empresa estiver confortável, faça a transição de aplicativos e plataformas de relatórios principais para o Fabric.
      1. Escale os recursos à medida que a carga de trabalho passa do SQL Server para o Microsoft Fabric.
      2. Crie um modelo repetível a partir da experiência adquirida para migrações futuras. Iterar.
      3. Identificar oportunidades para otimização de custos, segurança, escalabilidade e excelência operacional.
      4. Identifique oportunidades para modernizar seu patrimônio de dados com os recursos mais recentes do Fabric.

Levantar e deslocar ou modernizar?

Em geral, há dois tipos de cenários de migração, independentemente da finalidade e do escopo da migração planeada: levantamento e mudança tal como está, ou uma abordagem em fases que incorpora alterações de arquitetura e código.

Levantar e deslocar

Numa migração de lift and shift, migra-se um modelo de dados existente, com pequenas alterações, para o novo Fabric Data Warehouse. Essa abordagem minimiza o risco e o tempo de migração, reduzindo o novo trabalho necessário para obter os benefícios da migração.

A migração lift-and-shift é adequada para estes cenários:

• Você tem um ambiente existente com um pequeno número de data marts para migrar.
• Você tem um ambiente existente com dados que já estão em um esquema de estrela ou floco de neve bem elaborado.
• Estás sob pressão de tempo e custos para mudar para o Fabric Data Warehouse.

Em resumo, esta abordagem funciona bem para cargas de trabalho otimizadas para o seu ambiente SQL Server atual e, portanto, não requerem grandes alterações no Fabric.

Modernize-se em uma abordagem faseada com mudanças arquitetônicas

Se um armazém de dados legado evoluiu ao longo de um período de tempo alargado, poderá ser necessário reconcebê-lo para manter os níveis de desempenho exigidos.

Também pode querer redesenhar a arquitetura para tirar partido dos novos motores e funcionalidades disponíveis no espaço de trabalho do Fabric.

Diferenças de design entre SQL Server e Fabric Data Warehouse

Considere as seguintes diferenças entre SQL Server e Fabric Data Warehouse.

Considerações sobre a tabela

Quando você migra tabelas entre ambientes diferentes, normalmente apenas os dados brutos e os metadados são migrados fisicamente. Normalmente não migra outros elementos da base de dados do sistema de origem, como índices, porque podem ser desnecessários ou implementados de forma diferente no novo ambiente.

As otimizações de desempenho no ambiente de origem, como índices, indicam onde pode adicionar otimização de desempenho num novo ambiente, mas o Fabric trata disso automaticamente por si.

Considerações sobre o T-SQL

Esteja atento a várias diferenças na sintaxe da Linguagem de Manipulação de Dados (DML). Consulte a área de superfície do T-SQL no Fabric Data Warehouse. Além disso, considere uma avaliação do código ao escolher métodos de migração para o código da base de dados (DML).

Dependendo das diferenças de paridade no momento da migração, talvez seja necessário reescrever partes do código DML do T-SQL.

Diferenças de mapeamento de tipo de dados

Fabric Data Warehouse apresenta várias diferenças nos tipos de dados em relação a outras plataformas Microsoft SQL. Para obter mais informações, consulte Tipos de dados no Microsoft Fabric.

A tabela seguinte mostra o mapeamento dos tipos de dados suportados do Database Engine SQL para Fabric Data Warehouse.

* datetime2 não armazena a informação sobre o desvio do fuso horário que datetimeoffset armazena. Como o tipo de dados datetimeoffset não é atualmente suportado no Fabric Data Warehouse, extraia os dados do deslocamento do fuso horário para uma coluna separada.

Conteúdo relacionado

• Criar um depósito no Microsoft Fabric
• Diretrizes de desempenho do Fabric Data Warehouse
• Segurança para armazenamento de dados em Microsoft Fabric
• Visão geral da migração do Microsoft Fabric