Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Este guia aborda estratégias de atualização, critérios de decisão e abordagens passo a passo para transferir pipelines do Azure Data Factory (ADF) para o Fabric Data Factory. Para melhores práticas ao nível da implementação para cada componente de atualização, consulte Melhores práticas de atualização.
Porquê atualizar?
A atualização dos pipelines ADF e Synapse para o Fabric Data Factory é mais do que uma simples mudança rápida: é uma oportunidade para simplificar a governação, padronizar padrões e usar novas capacidades para melhorar a sua estratégia de integração de dados.
O Fabric oferece muitas novidades, incluindo:
- Atividades integradas no pipeline como email e Teams para o encaminhamento de mensagens
- CI/CD incorporado (pipelines de implementação) sem dependências externas do Git
- Integração de espaço de trabalho sem interrupções com OneLake, Warehouse e Lakehouse para análises unificadas
- Atualizações de modelos de dados semânticos simplificados e escaláveis que atendem às necessidades de autoatendimento e empresariais de dados
- Capacidades de IA integradas com Copilot para ajudar a criar e gerir pipelines
Para uma comparação detalhada, consulte o guia de comparação do Azure Data Factory e do Fabric Data Factory.
Diferenças arquitetónicas críticas
Antes de atualizar do Azure Data Factory para o Fabric Data Factory, considere estas diferenças arquitetónicas críticas que tendem a ter o maior impacto no planeamento das atualizações:
| Category | Fábrica de Dados do Azure | Fabric Data Factory | Impacto da Atualização |
|---|---|---|---|
| Código personalizado | Atividade Personalizada | Atividade do Azure Batch | O nome da atividade é diferente, mas suporta a mesma funcionalidade. |
| Dataflows | Mapeamento de Fluxos de Dados com execução baseada em Spark | O Dataflow Gen2 suporta transformações de Mapeamento de Fluxo de Dados (MDF) com execução baseada em Spark. As transformações de MDF encontram-se atualmente em versão preliminar. | Os fluxos de dados elegíveis Azure Data Factory e Azure Synapse Analytics Mapping podem ser migrados para transformações MDF no Dataflow Gen2 utilizando a experiência de migração incorporada. Revise os conectores suportados, transformações, métodos de autenticação e limitações de pré-visualização antes da migração. Para cenários não suportados, redesenhe a transformação usando Power Query em Dataflow Gen2, Fabric Warehouse SQL, notebooks ou outra funcionalidade Fabric. |
| Conjuntos de dados | Objetos de conjunto de dados separados e reutilizáveis | As propriedades são definidas em linha dentro das atividades | Quando converte de ADF para Fabric, a informação relativa ao 'conjunto de dados' está incluída em cada atividade. |
| Ligações dinâmicas | As propriedades dos serviços ligados podem ser dinâmicas usando parâmetros | As propriedades de ligação não suportam propriedades dinâmicas, mas as atividades do pipeline podem usar conteúdo dinâmico para objetos de ligação | Para soluções baseadas em Arquitetura Orientada por Metadados que dependem de ligações parametrizadas, parametrize o objeto de ligação no Fabric. |
| Parâmetros Globais | Parâmetros globais | Biblioteca de Variáveis do Fabric | Diferentes padrões de implementação e tipos de dados, embora tenhamos um guia de atualização. |
| Atividades do HDInsight | Cinco atividades separadas (Hive, Pig, MapReduce, Spark, Streaming) | Atividade única do HDInsight | Só precisas de um tipo de atividade na conversão, mas todas as funcionalidades são suportadas. |
| Identidade | Identidade gerenciada | Identidade do Espaço de Trabalho do Fabric | Modelos de identidade diferentes, com algum planeamento necessário para mudar. |
| Key Vault (serviço de armazenamento de chaves) | Integração madura com todos os tipos de autenticação | Integração limitada através de Fabric Key Vault Reference | Compare as fontes e autenticação atualmente suportadas do Key Vault com as suas configurações existentes. |
| Execução do pipeline | Executar atividade de fluxo de trabalho | Invocar atividade Pipeline com o tipo de conexão FabricDataPipeline | O nome da atividade e os requisitos de ligação mudam durante a conversão. |
| Scheduling | Um gatilho para muitas linhas de montagem ou muitos gatilhos por linha de montagem com gestão centralizada | Um horário por pipeline ou muitos horários por pipeline sem reutilização de horários ou centralização | Atualmente, o Fabric requer gestão de horários por pipeline. |
Caminhos de atualização
Os caminhos de upgrade dependem dos teus ativos ADF e da sua paridade de características. As opções incluem:
- Os itens do Azure Data Factory no Fabric para garantir continuidade. - Uma visualização em tempo real da sua instância existente do Azure Data Factory dentro do Fabric, permitindo uma atualização e testes graduais. Esta experiência é também um bom primeiro passo antes de usar ferramentas de conversão ou replatforming.
- Utilize a experiência de atualização integrada para pipelines do Azure Data Factory - Avalie a prontidão do pipeline diretamente no Azure Data Factory, reveja os resultados de compatibilidade e atualize os pipelines suportados para um espaço de trabalho Fabric usando uma UX guiada.
- Atualização manual para ambientes complexos - Reconstruir pipelines no Fabric para aproveitar novas funcionalidades e otimizar o desempenho. Esta abordagem é necessária para pipelines com baixa paridade ou lógica personalizada, mas é também uma oportunidade para modernizar a sua arquitetura.
Itens do Azure Data Factory no seu espaço de trabalho Fabric
Adicione um ADF existente ao seu espaço de trabalho Fabric para obter visibilidade e governação imediatas enquanto atualiza gradualmente. Esta abordagem é ideal para identificação, atribuição de propriedade e testes em paralelo, porque as equipas podem ver os pipelines, organizá-los em áreas de trabalho do Fabric e planear transições por domínio. Use os itens do Azure Data Factory para catalogar o que existe, priorize primeiro os pipelines de maior valor/menor risco e estabeleça convenções (nomes, pastas, reutilização de ligações) que os seus scripts de conversão e ferramentas parceiras possam seguir consistentemente.
Montas no Fabric através do tipo de item do Azure Data Factory: Traz o teu Azure Data Factory para o Fabric.
Atualize os pipelines do Azure Data Factory usando a experiência incorporada
O Fabric oferece uma experiência de atualização integrada, baseada na avaliação, que pode usar para avaliar e atualizar pipelines do Azure Data Factory diretamente através das experiências de utilizador do Azure Data Factory e Fabric – sem scripts ou ferramentas personalizadas. Esta experiência ajuda-o a:
- Avalie a prontidão do pipeline e da atividade diretamente no Azure Data Factory.
- Compreende as lacunas de compatibilidade antes de atualizar.
- Adicione o Azure Data Factory a um espaço de trabalho do Fabric para análise lado a lado.
- Atualize progressivamente os pipelines suportados para Fabric a partir da sua fábrica de dados montada.
- Atualize os Fluxos de Dados de Mapeamento suportados em pipelines selecionados para transformações MDF no Dataflow Gen2.
- Planeie remediação ou redesenho para itens que necessitem de atualizações, utilizem capacidades não suportadas ou que estejam prestes a chegar.
Cada pipeline e atividade está claramente categorizada (Pronto, Precisa de revisão, Em breve ou Não compatível), ajudando as equipas a planear atualizações intencionalmente e a validar resultados antes de mudarem as cargas de trabalho de produção. Esta abordagem é adequada para clientes que procuram um caminho de atualização guiado, de baixo risco e incremental, mantendo sempre visibilidade sobre funcionalidades não suportadas e próximos passos. Para obter instruções passo a passo, consulte Migrar os seus pipelines do Azure Data Factory para o Fabric.
A experiência de atualização incorporada também suporta pipelines elegíveis que contêm Mapping Data Flows. Os fluxos de dados de mapeamento suportados são atualizados para transformações MDF no Dataflow Gen2, preservando a sua lógica de transformação e o modelo de execução baseado no Spark. Esta funcionalidade está atualmente em versão de pré-visualização. Para requisitos, limitações e instruções de atualização, consulte Upgrade Azure Data Factory Mapping Fluxo de Dados pipelines para Fabric.
Atualização manual
A atualização manual é necessária para pipelines complexos com baixa paridade, mas é também uma oportunidade para modernizar a sua arquitetura e adotar as funcionalidades integradas do Fabric. Este caminho requer mais planeamento e desenvolvimento antecipado, mas pode trazer benefícios a longo prazo em manutenção, desempenho e custo.
Para melhorar eficazmente, siga estes passos:
- Avaliar e inventariar: Catalogar todos os ativos do ADF, incluindo pipelines, conjuntos de dados, serviços ligados e runtimes de integração. Identificar dependências e padrões de utilização.
- Identifique duplicados e itens não utilizados: Limpe itens não utilizados ou redundantes no ADF para simplificar a atualização e o ambiente de integração de dados.
- Identifique lacunas: Utilize a ferramenta de avaliação de pipelines e analise a paridade de conectores e a paridade de atividades para identificar lacunas entre os seus pipelines do ADF e os pipelines do Fabric, e planear alternativas.
- Analise novas funcionalidades: Utilize o nosso guia de decisão de movimentação de dados e guia de decisão de integração de dados para decidir quais as ferramentas de Fabric que melhor atendam às suas necessidades.
- Plano: Revise as melhores práticas de atualização para considerar cada um dos seus itens e as orientações para tirar o máximo partido das capacidades melhoradas da Fabric.
- Se usares parâmetros globais no ADF, planeia atualizá-los para bibliotecas de variáveis Fabric. Consulte Conversão de Parâmetros Globais do ADF para Bibliotecas de Variáveis do Fabric para obter os passos detalhados.
- Transição ADF: Considere adicionar um item do Azure Data Factory no Microsoft Fabric como primeiro passo na atualização, permitindo uma transição gradual numa única plataforma.
- Priorize: Classifique os seus pipelines com base no impacto no negócio, complexidade e facilidade de atualização.
- Automatize sempre que possível: Utilize a experiência de atualização integrada para avaliar, atualizar e validar pipelines de forma incremental antes de migrar as cargas de trabalho de produção. Para mais informações, consulte a ferramenta Atualizar.
-
Considere ferramentas: Use estas ferramentas para facilitar a recreação:
- Use modelos Fabric como base para pipelines com cenários comuns de integração de dados.
- Usar parametrização para criar pipelines reutilizáveis
- Utilize Copilot no Fabric Data Factory para auxiliar na criação de pipelines
- Utilizar pipelines de implementação para CI/CD e controlo de versões
-
Atualização manual: Para cenários não suportados por outros métodos de atualização, reconstrua-os no Fabric:
- Recriar ligações: Configurar Connections em Fabric para substituir os Serviços Ligados no ADF
- Recriar atividades: Configure as suas atividades nos seus pipelines, substituindo atividades não suportadas por alternativas do Fabric ou usando a atividade Invoke do pipeline
- Programe e defina os gatilhos: Reconstrua horários e gatilhos de eventos no Fabric para corresponder aos seus horários ADF
- Teste exaustivamente: Valide os pipelines atualizados em relação aos resultados esperados, às referências de desempenho e aos requisitos de conformidade.
Exemplos de cenários de atualização
A transição de ADF para Fabric pode envolver diferentes estratégias dependendo do seu caso de uso. Esta secção apresenta caminhos comuns de melhoria e considerações para o ajudar a planear eficazmente.
- Cenário 1: Pipelines e fluxos de dados do ADF
- Cenário 2: ADF com CDC, SSIS e fluxo de ar
- Cenário 3: Atualização do pipeline utilizando experiência integrada
- Cenário 4: Itens ADF num espaço de trabalho Fabric
Cenário 1: Pipelines e fluxos de dados do ADF
Modernize o seu ambiente ETL atualizando pipelines e fluxos de dados para Fabric. Planeje estes elementos:
- Recriar serviços ligados como ligações do Fabric, ou mapear serviços ligados para ligações do Fabric existentes durante a experiência de atualização incorporada.
- Recriar parâmetros globais como bibliotecas de variáveis.
- Defina as propriedades do conjunto de dados embutidas em atividades de pipeline.
- Substituir SHIRs (runtimes de integração auto-hospedados) por OPDGs (gateways de dados locais) e IRs VNet por gateways de dados de rede virtual.
- Para condutas de processamento elegíveis que contenham Mapping Data Flows, utilize a experiência de atualização incorporada para atualizar Mapping Data Flows suportados para transformações MDF no Dataflow Gen2.
- Reveja as limitações das transformações MDF, conectores suportados, transformações, métodos de autenticação e requisitos de rede antes de atualizar.
- Para Mapear Fluxos de Dados que utilizam capacidades não suportadas na pré-visualização atual, remedie os componentes não suportados ou redesenhe a transformação utilizando Power Query em Dataflow Gen2, Fabric Warehouse SQL, notebooks Spark ou outra funcionalidade Fabric apropriada.
- Reconstrua atividades ADF não suportadas usando alternativas do Fabric ou a atividade de invocação de pipeline. As atividades não apoiadas incluem:
- Data Lake Analytics (U-SQL), um serviço do Azure preterido.
- Atividade de validação, que pode reconstruir utilizando Get Metadata, loops de pipeline e atividades If (IF).
- Power Query, que está totalmente integrado no Fabric como fluxos de dados, onde o código M pode ser reutilizado.
- Atividades de Notebook, Jar e Python, que podes substituir pela atividade Databricks no Fabric.
- Atividades Hive, Pig, MapReduce, Spark e Streaming, que podes substituir pela atividade HDInsight no Fabric.
Para requisitos e instruções passo a passo, consulte Atualizar pipelines do Mapping Fluxo de Dados do Azure Data Factory para o Fabric.
Por exemplo, aqui está a página de configuração do conjunto de dados ADF, com o seu caminho de ficheiro e definições de compressão:
E aqui está uma atividade de cópia para o Data Factory no Fabric, onde a compressão e o caminho do ficheiro são integrados na atividade.
Cenário 2: ADF com CDC, SSIS e fluxo de ar
Recrie CDC como Copiar itens de trabalho . Para o Airflow, copie os seus DAGs para a oferta Apache Airflow da Fabric. Execute pacotes SSIS usando pipelines do ADF e chame-os a partir do Fabric.
Cenário 3: Atualização da canalização usando a experiência integrada
Esta experiência orientada, centrada na avaliação, ajuda-o a avaliar a prontidão, identificar lacunas de compatibilidade e atualizar incrementalmente os pipelines suportados para um espaço de trabalho Fabric — tudo isto sem scripts.
A experiência de atualização integrada também suporta pipelines elegíveis que contêm Data Flows de Mapeamento. Os fluxos de dados de mapeamento suportados são atualizados para transformações MDF no Dataflow Gen2, preservando a sua lógica de transformação e o modelo de execução baseado no Spark. Esta funcionalidade está atualmente em versão de pré-visualização.
Para obter mais informações, consulte:
- Atualize os seus pipelines do Azure Data Factory para o Fabric
- Atualizar pipelines do Mapping Fluxo de Dados do Azure Data Factory para o Fabric
Cenário 4: Itens do ADF num espaço de trabalho do Fabric
Podes adicionar uma fábrica inteira de ADF num espaço de trabalho Fabric como item nativo. Isto permite-te gerir fábricas da ADF juntamente com artefactos de Fabric na mesma interface. A interface do usuário do ADF permanece totalmente acessível, permitindo que você monitore, gerencie e edite seus itens de fábrica do ADF diretamente do espaço de trabalho do Fabric. No entanto, a execução de pipelines, atividades e runtimes de integração continua a ocorrer dentro dos seus recursos do Azure.
Esta funcionalidade é útil para organizações que estão a transitar para o Fabric, pois proporciona uma visão unificada dos recursos do ADF e do Fabric, simplificando a gestão e o planeamento da atualização.
Para mais informações, consulte Traga a sua Azure Data Factory para o Fabric.