Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Este guia aborda estratégias de atualização, critérios de decisão e abordagens passo a passo para mover pipelines do Azure Data Factory (ADF) para o Fabric Data Factory. Para melhores práticas em nível de implementação para cada componente de atualização, veja Melhores práticas de atualização.
Por que atualizar?
A atualização dos pipelines ADF e Synapse para o Fabric Data Factory é mais do que uma simples mudança rápida: é uma oportunidade para simplificar a governança, padronizar padrões e usar novas capacidades para aprimorar sua estratégia de integração de dados.
O Fabric oferece muitos novos recursos, incluindo:
- Atividades de pipeline integradas, como email e Teams para roteamento de mensagens
- CI/CD embutido (pipelines de implantação) sem dependências externas do Git
- Integração perfeita do workspace com o OneLake, Warehouse e Lakehouse para análise unificada
- O modelo de dados semântico simplificado atualiza essa escala para atender às necessidades de dados corporativos e de autoatendimento
- Capacidades de IA integradas com Copilot para ajudá-lo a criar e gerenciar pipelines
Para obter uma comparação detalhada, consulte o guia de comparação do Azure Data Factory e do Fabric Data Factory.
Diferenças de arquitetura críticas
Antes de atualizar do Azure Data Factory para o Fabric Data Factory, considere essas diferenças arquitetônicas críticas que tendem a ter o maior impacto no planejamento de atualizações:
| Categoria | Fábrica de dados do Azure | Fabric Data Factory | Impacto da Atualização |
|---|---|---|---|
| Código personalizado | Atividade personalizada | Atividade do Lote do Azure | O nome da atividade é diferente, mas dá suporte à mesma funcionalidade. |
| Dataflows | Mapeamento de Fluxos de Dados com execução baseada em Spark | O Dataflow Gen2 oferece suporte a transformações do Mapping Fluxo de Dados (MDF) com execução baseada em Spark. As transformações MDF estão em versão prévia. | Os fluxos de dados de mapeamento elegíveis do Azure Data Factory e Azure Synapse Analytics podem ser migrados para transformações MDF no Dataflow Gen2 usando a experiência de migração embutida. Revise os conectores suportados, transformações, métodos de autenticação e limitações de pré-visualização antes da migração. Para cenários não suportados, redesenhe a transformação usando o Power Query no Dataflow Gen2, o SQL do Fabric Warehouse, notebooks ou outro recurso do Fabric. |
| Conjunto de dados | Objetos de conjunto de dados reutilizáveis separados | As propriedades são definidas embutidas dentro das atividades | Quando você converte do ADF para o Fabric, as informações de 'conjunto de dados' estão dentro de cada atividade. |
| Conexões dinâmicas | As propriedades do serviço vinculado podem ser dinâmicas usando parâmetros | As propriedades de conexão não dão suporte a propriedades dinâmicas, mas as atividades de pipeline podem usar conteúdo dinâmico para objetos de conexão | Para soluções baseadas em arquitetura controlada por metadados que dependem de conexões parametrizadas, parametrize o objeto de conexão em Fabric. |
| parâmetros globais | Parâmetros Globais | biblioteca de variáveis Fabric | Diferentes padrões de implementação e tipos de dados, embora tenhamos um guia de atualização. |
| Atividades do HDInsight | Cinco atividades separadas (Hive, Pig, MapReduce, Spark, Streaming) | Atividade única do HDInsight | Você só precisa de um tipo de atividade ao converter, mas todas as funcionalidades têm suporte. |
| Identity | Identidade Gerenciada | Identidade do Fabric Workspace | Modelos de identidade diferentes, com algum planejamento necessário para mudar. |
| Cofre de chaves | Integração madura com todos os tipos de autenticação | Integração limitada por meio de Fabric Key Vault Reference | Compare fontes de Key Vault e autenticação atualmente suportadas com as configurações existentes. |
| Execução de pipeline | Executar atividade do pipeline | Invocar atividade de pipeline com o tipo de conexão FabricDataPipeline | O nome da atividade e os requisitos de conexão são alterados ao converter. |
| Agendamento | Um disparador para muitos pipelines ou muitos disparadores por pipeline com gestão centralizada | Um agendamento por pipeline ou muitos agendamentos por pipeline sem reutilização de agendamento ou hub central | Atualmente, o Fabric requer o gerenciamento do agendamento para cada pipeline. |
Caminhos de atualização
Os caminhos de atualização dependem dos seus ativos do ADF e da paridade de funcionalidades desses ativos. As opções incluem:
- Itens do Azure Data Factory no Fabric para garantir continuidade. - Uma visualização ao vivo da sua instância existente do Azure Data Factory dentro do Fabric, permitindo atualização e testes graduais. Essa experiência também é um bom primeiro passo antes de usar ferramentas de conversão ou replatforming.
- Use a experiência de atualização integrada para pipelines do Azure Data Factory - Avalie a prontidão do pipeline diretamente no Azure Data Factory, revise os resultados de compatibilidade e atualize os pipelines suportados para um espaço de trabalho Fabric usando uma UX guiada.
- Atualização manual para ambientes complexos - Reconstruir pipelines no Fabric para aproveitar novos recursos e otimizar o desempenho. Essa abordagem é necessária para pipelines com baixa paridade ou lógica personalizada, mas também é uma oportunidade para modernizar sua arquitetura.
Azure Data Factory itens em seu espaço de trabalho Fabric
Adicione um ADF existente ao seu espaço de trabalho Fabric para obter visibilidade e governança imediatas enquanto você atualiza gradualmente. Essa abordagem é ideal para descoberta, atribuição de propriedade e testes lado a lado, pois as equipes podem visualizar pipelines, organizá-los em espaços de trabalho do Fabric e planejar cutovers por domínio. Use os itens do Azure Data Factory para catalogar o que existe, priorizar os pipelines de maior valor/menor risco primeiro e estabelecer convenções (nomenclatura, pastas, reutilização de conexão) que seus scripts de conversão e ferramentas de parceiro podem seguir consistentemente.
Você faz a montagem no Fabric por meio do tipo de item do Azure Data Factory: Traga o Azure Data Factory para o Fabric.
Atualize os pipelines do Azure Data Factory usando a experiência embutida
O Fabric oferece uma experiência de atualização embutida e baseada em avaliação que você pode usar para avaliar e atualizar pipelines do Azure Data Factory diretamente através das experiências de usuário do Azure Data Factory e Fabric – sem scripts ou ferramentas personalizadas. Essa experiência ajuda você a:
- Avalie a preparação do pipeline e da atividade diretamente no Azure Data Factory.
- Entenda as lacunas de compatibilidade antes de atualizar.
- Integre seu Azure Data Factory em um espaço de trabalho do Fabric para comparação lado a lado.
- Atualize os pipelines suportados incrementalmente para o Fabric a partir da sua fábrica de dados montada.
- Atualize os Fluxos de Dados de Mapeamento compatíveis em pipelines selecionados para transformações MDF no Dataflow Gen2.
- Planeje remediação ou redesenho para itens que precisam de atualizações, usam capacidades não suportadas ou estarão disponíveis em breve.
Cada pipeline e atividade é claramente categorizada (Pronto, Precisa de revisão, Em breve ou Não compatível), ajudando as equipes a planejar atualizações intencionalmente e validar resultados antes de mudar as cargas de trabalho de produção. Essa abordagem é ideal para clientes que desejam um caminho de atualização guiado, de baixo risco e incremental, mantendo a visibilidade sobre recursos não suportados e próximos passos. Para obter diretrizes passo a passo, consulte Atualizar seus pipelines de Azure Data Factory para Fabric.
A experiência de atualização embutida também suporta pipelines elegíveis contendo Mapping Data Flows. Fluxos de Dados de Mapeamento suportados são atualizados para transformações MDF no Dataflow Gen2, preservando sua lógica de transformação e modelo de execução baseado em Spark. Esse recurso está atualmente em versão prévia. Para requisitos, limitações e instruções de atualização, veja Upgrade Azure Data Factory Mapping Fluxo de Dados pipelines to Fabric.
Atualização manual
A atualização manual é necessária para pipelines complexos com baixa paridade, mas também é uma oportunidade para modernizar sua arquitetura e adotar os recursos integrados do Fabric. Esse caminho requer um planejamento e desenvolvimento mais antecipados, mas pode gerar benefícios de longo prazo em manutenção, desempenho e custo.
Para fazer upgrade de forma eficaz, siga estes passos:
- Avaliar e inventariar: cataloge todos os ativos do ADF, incluindo pipelines, conjuntos de dados, serviços vinculados e runtimes de integração. Identificar dependências e padrões de uso.
- Identifique duplicatas e itens não utilizados: Limpe itens não utilizados ou redundantes no ADF para agilizar a atualização e o ambiente de integração de dados.
- Identifique lacunas: Use a ferramenta de avaliação de pipelines e analise a paridade de conectores e a paridade de atividades para identificar lacunas entre seus pipelines do ADF e do Fabric e planejar alternativas.
- Examine os novos recursos: use nosso guia de decisão de movimentação de dados e o guia de decisão de integração de dados para decidir quais ferramentas do Fabric funcionarão melhor para suas necessidades.
- Planeje: Revise as melhores práticas de atualização para considerar cada um dos seus itens e as diretrizes para aproveitar ao máximo as capacidades aprimoradas da Fabric.
- Se você usa parâmetros globais no ADF, planeje atualizá-los para bibliotecas de variáveis Fabric. Consulte Converter os Parâmetros Globais do ADF em Bibliotecas de Variáveis do Fabric para obter etapas detalhadas.
- Transição ADF: Considere adicionar um item do Azure Data Factory no Microsoft Fabric como primeiro passo para atualizar, permitindo uma transição gradual em uma única plataforma.
- Priorize: Classifique seus pipelines com base no impacto do negócio, complexidade e facilidade de atualização.
- Automatize onde for possível: Use o recurso integrado de atualização para avaliar, atualizar e validar pipelines de forma incremental antes de migrar as cargas de trabalho de produção. Para obter mais informações, consulte a ferramenta De atualização.
-
Considere ferramentas: use estas ferramentas para facilitar a recreação:
- Use modelos Fabric como ponto de partida para pipelines com cenários comuns de integração de dados.
- Usar a parametrização para criar pipelines reutilizáveis
- Usar o Copilot no Fabric Data Factory para ajudar na criação de pipelines
- Usar pipelines de implantação para CI/CD e controle de versão
-
Atualização manual: Para cenários que não são suportados por outros métodos de atualização, reconstrua-os no Fabric:
- Recriar conexões: Configurar Conexões no Fabric para substituir os Serviços Linkados no ADF.
- Recriar atividades: configure suas atividades em seus pipelines, substituindo atividades não suportadas por alternativas do Fabric ou utilizando a atividade de invocação de pipeline
- Agendar e definir gatilhos: Reconstruir cronogramas e gatilhos de eventos no Fabric para corresponder aos agendamentos do ADF
- Teste minuciosamente: Valide os pipelines atualizados em relação aos resultados esperados, aos benchmarks de desempenho e aos requisitos de conformidade.
Exemplos de cenários de atualização
Mudar do ADF para Fabric pode envolver estratégias diferentes dependendo do seu caso de uso. Esta seção descreve caminhos comuns de melhoria e considerações para ajudar você a planejar de forma eficaz.
- Cenário 1: pipelines e fluxos de dados do ADF
- Cenário 2: ADF com CDC, SSIS e Fluxo de Ar
- Cenário 3: Atualização de pipeline usando a experiência integrada
- Cenário 4: Itens do ADF em um workspace do Fabric
Cenário 1: pipelines e fluxos de dados do ADF
Modernize seu ambiente ETL atualizando pipelines e fluxos de dados para o Fabric. Planeje estes elementos:
- Recrie serviços vinculados como conexões Fabric, ou mapeie serviços vinculados para conexões Fabric existentes durante a experiência de atualização embutida.
- Recrie parâmetros globais como bibliotecas de variáveis.
- Defina as propriedades do conjunto de dados embutidas em atividades de pipeline.
- Substitua SHIRs (runtimes de integração auto-hospedados) por OPDGs (gateways de dados locais) e IRs de VNet por gateways de dados de rede virtual.
- Para pipelines elegíveis contendo Mapping Data Flows, use a experiência de atualização integrada para atualizar os Mapping Data Flows suportados para transformações MDF no Dataflow Gen2.
- Revise limitações da transformação MDF, conectores suportados, transformações, métodos de autenticação e requisitos de rede antes de atualizar.
- Para Mapear Fluxos de Dados que utilizam capacidades não suportadas na pré-visualização atual, remedie os componentes não suportados ou redesenhe a transformação usando Power Query em Dataflow Gen2, SQL do Fabric Warehouse, notebooks Spark ou outra capacidade Fabric apropriada.
- Reconstruir as atividades do ADF não suportadas usando alternativas do Fabric ou a atividade de pipeline de invocação. Atividades sem suporte incluem:
- Data Lake Analytics (U-SQL), um serviço do Azure preterido.
- Atividade de validação, que você pode reconstruir usando Get Metadata, loops de pipeline e atividades de If.
- Power Query, totalmente integrado ao Fabric como fluxos de dados em que o código M pode ser reutilizado.
- Atividades de Notebook, Jar e Python, que você pode substituir pela atividade Databricks no Fabric.
- Atividades Hive, Pig, MapReduce, Spark e Streaming, que você pode substituir pela atividade HDInsight no Fabric.
Para requisitos e instruções passo a passo, veja Atualizar pipelines de fluxo de dados de mapeamento do Azure Data Factory para o Fabric.
Por exemplo, aqui está a página de configuração do conjunto de dados do ADF, com seu caminho de arquivo e configurações de compactação:
E aqui está uma atividade de cópia do Data Factory no Fabric, em que a compactação e o caminho do arquivo estão integrados na atividade.
Cenário 2: ADF com CDC, SSIS e Fluxo de Ar
Recrie o CDC como itens de Tarefa de Cópia. Para o Airflow, copie seus DAGs para o serviço Apache Airflow do Fabric. Execute pacotes SSIS usando pipelines do ADF e invoque-os a partir do Fabric.
Cenário 3: Atualização do pipeline usando a experiência integrada
Essa experiência guiada e baseada em avaliação ajuda você a avaliar a prontidão, identificar lacunas de compatibilidade e atualizar os pipelines suportados de forma incremental para um espaço de trabalho Fabric — tudo isso sem scripts.
A experiência de atualização embutida também suporta pipelines elegíveis que contêm Mapeamento de Fluxos de Dados. Fluxos de Dados de Mapeamento suportados são atualizados para transformações MDF no Dataflow Gen2, preservando sua lógica de transformação e modelo de execução baseado em Spark. Esse recurso está atualmente em versão prévia.
Para obter mais informações, consulte:
- Atualize seus pipelines do Azure Data Factory para o Fabric
- Atualize os pipelines do Azure Data Factory Mapping Fluxo de Dados para o Fabric
Cenário 4: Itens do ADF em um workspace do Fabric
Você pode adicionar uma fábrica inteira do ADF em um espaço de trabalho do Fabric como um item nativo. Isso permite que você gerencie fábricas do ADF junto com artefatos do Fabric na mesma interface. A interface do usuário do ADF permanece totalmente acessível, permitindo que você monitore, gerencie e edite seus itens de fábrica do ADF diretamente do workspace Fabric. No entanto, a execução de pipelines, atividades e runtimes de integração ainda ocorre nos seus recursos da Azure.
Esse recurso é útil para organizações que estão migrando para o Fabric, pois oferece uma visão unificada dos recursos do ADF e do Fabric, simplificando a gestão e o planejamento da atualização.
Para obter mais informações, consulte Bring your Azure Data Factory into Fabric.