Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Data Factory na Microsoft Fabric (Fabric Data Factory) é a próxima geração do Azure Data Factory. Ao utilizar o OneLake como camada de armazenamento unificada, o Fabric Data Factory reduz a complexidade da infraestrutura e o movimento de dados. Os pipelines podem trabalhar diretamente com dados em direto através de atalhos do OneLake e partilha entre tenants.
Este artigo compara as funcionalidades centrais, atividades, conectores e componentes de infraestrutura de ambos os serviços. Para planear uma migração, consulte o guia de planeamento migratorial.
Compare lado a lado as funcionalidades
Veja como os principais recursos se acumulam entre o Azure Data Factory e o Fabric Data Factory. A tabela destaca o que mudou, o que é novo e o que permanece igual.
| Fábrica de Dados do Azure | Data Factory no Fabric | O que é diferente |
|---|---|---|
| Gasoduto | Gasoduto | Melhor integração: os pipelines no Fabric funcionam perfeitamente com Lakehouse, Data Warehouse e outros serviços Fabric prontos para uso. Os pipelines de malha incluem mais atividades baseadas em SaaS e diferem nas definições de JSON. Consulte a nossa comparação de funcionalidades do pipeline para obter mais detalhes. |
| Mapeando o fluxo de dados | Fluxo de dados Gen2 | Mais fácil de usar: o Dataflow Gen2 oferece uma experiência mais simples para criar transformações. Estamos adicionando mais recursos de fluxo de dados de mapeamento ao Gen2 o tempo todo. |
| Atividades | Atividades | Mais atividades chegando: Estamos trabalhando para trazer todas as suas atividades favoritas do ADF para o Fabric. Além disso, tem acesso a novos recursos, como a atividade do Office 365 Outlook, que não estão disponíveis no ADF. Consulte a nossa comparação de atividades para obter detalhes. |
| Conjunto de dados | Apenas ligações | Abordagem mais simples: não há configurações mais complexas de conjuntos de dados. Para o Data Factory in Fabric, você usa conexões para vincular suas fontes de dados e começar a trabalhar. O Fabric elimina conjuntos de dados, definindo as propriedades dos dados diretamente no interior das atividades. |
| Serviço Vinculado | Ligações | Mais intuitivo: as conexões funcionam como serviços vinculados, mas são mais fáceis de configurar e gerenciar. |
| Acionadores | Agendar e arquivar gatilhos de eventos | Agendamento integrado: Use o agendador do Fabric e os eventos Reflex para executar automaticamente os seus pipelines. Os gatilhos de evento de arquivo funcionam nativamente no Fabric sem configuração extra. O Fabric integra gatilhos na sua estrutura Ativador, ao contrário dos gatilhos independentes do ADF. |
| Publicar | Guardar e executar | Nenhuma etapa de publicação: no Fabric, ignore totalmente a etapa de publicação. Basta selecionar Salvar para armazenar seu trabalho ou selecionar Executar para salvar e executar seu pipeline imediatamente. |
| Autoresolve e tempo de execução da Integração do Azure | Não é necessário | Arquitetura simplificada: Não há necessidade de gerenciar tempos de execução de integração. O Fabric lida com a computação para você. |
| Tempos de execução de integração auto-hospedados | Gateway de dados local | Mesmo acesso local: conecte-se aos seus dados locais usando o conhecido Gateway de Dados local. Saiba mais no nosso guia de acesso a dados no local. |
| Tempos de execução de integração Azure-SSIS | A determinar | Capacidade futura no Fabric: ainda estamos trabalhando no design da integração do SSIS no Fabric. |
| Redes virtuais gerenciadas e pontos de extremidade privados | A determinar. | Capacidade futura no Fabric: ainda estamos trabalhando na integração para redes virtuais gerenciadas e pontos de extremidade privados no Fabric. |
| Linguagem de Expressão | Linguagem de Expressão | Mesmas expressões: Seu conhecimento de expressão existente é transferido diretamente. A sintaxe é quase idêntica. |
| Tipos de autenticação | Tipos de autenticação | Mais opções: todos os seus métodos de autenticação ADF populares funcionam no Fabric, além de termos adicionado novos tipos de autenticação. |
| CI/CD | CI/CD | Os recursos aprimorados além do ADF incluem fácil seleção seletiva, promoção de itens individuais, ativação de repositório Git e opções integradas de Ci/CD SaaS. |
| Exportação/importação de modelos ARM | Guardar como | Duplicação rápida: no Fabric, use "Salvar como" para duplicar rapidamente pipelines para desenvolvimento ou teste. |
| Monitorização | Hub de monitoramento + Histórico de execução | Monitoramento avançado: o hub de monitoramento oferece uma experiência moderna com insights entre espaços de trabalho e melhores recursos de detalhamento. |
| Debugging | Modo interativo | Depuração simplificada: O Fabric elimina o modo de depuração do ADF. Estás sempre em modo interativo. |
| Captura de dados de alteração (CDC) | Copiar trabalhos | Movimentação incremental de dados: Fabric gere a movimentação incremental de dados através de tarefas de cópia em vez de artefatos CDC. |
| Azure Synapse Link | Espelhamento | Replicação de dados: o Fabric substitui o Azure Synapse Link por recursos de espelhamento para replicação de dados. |
| Executar atividade de fluxo de trabalho | Invocar atividade de linha de processamento | Invocação multiplataforma: O Fabric melhora a atividade do pipeline Execute do ADF com invocação multiplataforma. |
Comparação de funcionalidades de pipeline
| Categoria | Gasodutos ADF | Tubulações de tecido |
|---|---|---|
| Tipo de serviço | Serviço PaaS de integração de dados | Serviço SaaS de integração de dados |
| Ambiente de criação | Azure portal (ADF Studio) | Espaço de trabalho Fabric / Power BI (UX unificado com Lakehouses, armazéns, etc.) |
| Orquestração de Pipeline | Pipelines completos com atividades, parâmetros e gatilhos | O mesmo modelo de orquestração, reimaginado para o Fabric UX |
| Movimentação de dados | Atividade de cópia, mapeamento de fluxos de dados, suporte de RI local, rede virtual gerenciada | Atividade de Cópia, Dataflows Gen2, conetividade integrada com itens do OneLake e Fabric, atalhos OneLake para acesso a dados em tempo real sem cópia, On-premises Data Gateway, virtual network gateway |
| Computação / IR | Auto-hospedado, SSIS e Azure IR (para movimento + transformação) | Conexões na nuvem, nas instalações locais e gateway de rede virtual |
| Fluxos de Dados | Azure Blob, Armazenamento Data Lake, SQL, 100+ conectores | Mesmos conectores + integração OneLake nativa, alinhamento mais estreito do espaço de trabalho do Fabric |
| Monitorização | Pipelines e fluxos de dados no ADF Studio com execuções, gatilhos, alertas | Monitorização do Hub e Área de Trabalho com visualizações unificadas em Pipelines, Fluxos de Dados, Notebooks, Bases de Dados, etc. |
| Acionadores | Agendas, janela de tombamento, gatilhos baseados em eventos | Horários, gatilhos de eventos, gatilhos de janela deslizante a funcionar como agendamentos de intervalo. Pipelines que usam dados em tempo real através de atalhos do OneLake e partilha entre diferentes inquilinos integram-se perfeitamente com todos os tipos de triggers do Fabric. |
| CI/CD | Modelos ARM + integração do repositório Azure DevOps ou GitHub | Pipelines de implementação integrados no Fabric; promoção ao nível do espaço de trabalho (Dev → Test → Produção) e integração com repositório externo. |
| Segurança | Identidades gerenciadas, integração com Key Vault, endpoints privados | Mesmo modelo de segurança com integração do RBAC no espaço de trabalho do Fabric; integração de segurança do OneLake |
| Partilha de dados e governação | N/A | A partilha de dados entre inquilinos através de atalhos OneLake permite acesso governado e ao vivo de dados através das fronteiras organizacionais sem duplicação |
| Pricing | Pagamento conforme o uso baseado na utilização do Azure (por execução de atividade, movimento de dados e computação) | Baseado em capacidade (Fabric F SKU) sem encargos para atividades externas ou de pipeline, apenas execuções de operações e transferência de dados de pipeline |
Comparação de atividades
Com o Data Factory no Microsoft Fabric, continuamos a manter um alto grau de continuidade com o Azure Data Factory. Aproximadamente 90% de atividades acessíveis no ADF já estão disponíveis no Data Factory in Fabric. Aqui está um detalhamento das atividades e sua disponibilidade no ADF e no Data Factory in Fabric:
| Activity | ADF | Data Factory no Fabric |
|---|---|---|
| ADX/KQL | Y | Y |
| Acrescentar variável | Y | Y |
| Personalizado (Azure Batch no Fabric) | Y | Y |
| Azure Databricks | Atividade do notebook • Atividade do arquivo Jar • Atividade Python • Atividade de tarefa | Atividade do Azure Databricks |
| Azure Machine Learning | Y | Y |
| Execução em lote do Azure Machine Learning | Deprecated | N/A |
| Recurso de Atualização do Azure Machine Learning | Deprecated | N/A |
| Copiar | Copiar dados | Atividade de cópia |
| Fluxo de dados Gen2 | N/A | Y |
| Suprimir | Y | Y |
| Executar/Invocar Pipeline | Executar pipeline | Invocar pipeline |
| Cadernos de tecido | N/A | Y |
| Falha | Y | Y |
| Filter | Y | Y |
| Para cada | Y | Y |
| Funções | Função Azure | Atividade da função |
| Obter metadados | Y | Y |
| HDInsight | Atividade Hive • Atividade Pig • Atividade MapReduce • Atividade Spark • Atividade de Streaming | Atividade do HDInsight |
| Instrução 'If' | Y | Y |
| Busca | Y | Y |
| Mapeamento de Fluxo de Dados | Y | Fluxo de dados Gen2 |
| Office 365 Outlook | N/A | Y |
| Power Query (apenas ADF - Wrangling Dataflow) | Deprecated | N/A |
| Script | Y | Y |
| Atualização do modelo semântico | N/A | Y |
| Definir variável | Y | Y |
| Sproc | Y | Y |
| SSIS | Y | N/A |
| Procedimento armazenado | Y | Y |
| Alternar | Y | Y |
| Atividades de Synapse Notebook e SJD | Y | N/A |
| Equipas | N/A | Y |
| Até | Y | Y |
| Validation | Y | Obter metadados & If Condition |
| Wait | Y | Y |
| Web | Y | Y |
| Webhook | Y | Y |
| Gerenciando o fluxo de dados | Y | Fluxo de dados Gen2 |
Novas atividades no Fabric Data Factory
Além de manter a continuidade das atividades, o Data Factory in Fabric apresenta algumas novas atividades para atender às suas necessidades de orquestração mais avançadas. Estas novas atividades são as seguintes:
- Outlook: Disponível no Fabric Data Factory para facilitar a integração com os serviços do Outlook.
- Teams: Disponível no Fabric Data Factory para permitir a orquestração de atividades do Microsoft Teams.
- Atualização do modelo semântico: Disponível no Fabric Data Factory para aprimorar os recursos de atualização do modelo semântico do Power BI.
- Dataflow Gen2: Disponível no Fabric Data Factory para capacitar a orquestração de dados com recursos avançados de fluxo de dados.
Para obter uma lista de todas as atividades disponíveis do Fabric Data Factory, consulte a Visão geral da atividade.
Comparação de conectores
Para obter uma comparação de todos os conectores e sua disponibilidade no Azure Data Factory e no Fabric Data Factory, consulte o artigo Comparação de conectores.
SHIR (Self-hosted Integration Runtime) versus OPDG (On-premises Data Gateway)
Observação
Os serviços suportados pelo SHIR e pelo OPDG são diferentes:
- SHIR (Self-hosted Integration Runtime): Suporta o Azure Data Factory, o Azure Synapse Analytics, o Estúdio do Azure Machine Learning e o Azure Purview.
- Gateway de Dados Local (OPDG): Suporta Power BI, Power Apps, Power Automate, Azure Analysis Services, Aplicações Lógicas, Fabric Dataflow Gen2, Fabric Pipeline, Fabric Copy Job e Fabric Mirroring.
| Categoria | Tempo de execução de integração auto-hospedado (SHIR) | Gateway de dados local (OPDG) |
|---|---|---|
| Serviços suportados | - Azure Data Factory - Estúdio Azure Machine Learning - Azure Synapse Analytics - Azure Purview |
- Power BI - Aplicativos de energia - Power Automate - Azure Analysis Services - Aplicativos lógicos - Fabric Dataflow Gen2 - Tubulação de tecido - Trabalho de cópia de tecido - Espelhamento de tecido |
| Instalação e Registo | - Registado através de chave - Funciona em modo de serviço |
- Registado com a conta Microsoft Entra ID - Suporta o modo de usuário |
| Plataforma | - Windows - Imagem de contêiner suportada |
- Apenas Windows - Sem suporte de contentores |
| Suporte a proxy | - Suporte ao proxy do sistema e ao proxy personalizado | - Suporte proxy personalizado |
| Vinculação de região | - Corrigido para a região do Data Factory - Não é possível alterar a região padrão |
- Região pode ser alterada |
| Relé Personalizado | - Não suportado | - Suportado; os clientes podem trazer o seu próprio relé |
| Compartilhamento entre serviços | - Compartilhado com até 120 Data Factories - Não pode ser partilhado entre os espaços de trabalho ADF, Synapse ou Purview |
- Disponível para todos os serviços suportados dentro de um tenant |
| Alta Disponibilidade (HA) | - Até 8 nós (4 padrão) | - Até 10 nós |
| Recovery | - Requer reinstalação | - Chave de recuperação suportada |
| Balanceamento de carga | - Balanceamento de carga em nível de tarefa com base na contagem de trabalhadores disponíveis (CPU + memória) | - Balanceamento de carga no nível de consulta - Opções de distribuição Rotativa ou Aleatória |
| Armazenamento de credenciais | - Armazenados localmente nos nós SHIR - Azure Key Vault suportado |
- Armazenado centralmente no serviço de nuvem Gateway - Sem integração com Key Vault |
| Atualização automática | - Suportado | - Não suportado |
| Extensibilidade do conector | - Não suportado | - Suportado |
| Autoramento Interativo | - Suportado | - Suportado |
| Link privado para fluxo de controle | - Suportado | - Não suportado |
| Controle de versão | - Dois lançamentos por mês; um distribuído como atualização automática - Suporta os últimos 12 meses de lançamentos |
- Um lançamento por mês - Suporta as últimas 6 versões |
| Gestão de CPU e Memória | - Não suportado | - Suportado |
| Limites de Throughput | - Sem limite rígido; dependente da largura de banda da rede | Limites específicos do serviço: Power Apps / Power Automate / Logic Apps - Gravação: limite de carga útil de 2 MB - Leitura: limite de solicitação de 2 MB, limite de resposta compactada de 8 MB - Limite de URL de solicitação GET: 2.048 caracteres Power BI Direct Query: limite de resposta não comprimido de 16 MB |
Rede Virtual Gerida do ADF vs. Gateway de Dados da Rede Virtual do Fabric
A Rede Virtual Gerenciada do Azure Data Factory (ADF) e o Gateway de Dados da Rede Virtual do Microsoft Fabric (rede virtual) ajudam você a se conectar a fontes de dados com segurança, sem expô-las à Internet pública. Embora ambas as opções ofereçam suporte à conectividade privada para cargas de trabalho na nuvem, elas diferem em como são configuradas, quem as gerencia e quais serviços elas suportam.
VNET gerenciada pelo ADF
A Microsoft possui e gerencia o ambiente de rede. Você obtém uma configuração simples, mas não pode controlar as configurações de rede ou as regras de firewall.Gateway de dados VNET de rede
Você implanta o gateway dentro de sua própria rede virtual do Azure. Isso lhe dá controle total sobre rede, firewall e dimensionamento. Você decide como o gateway se conecta aos seus recursos e gerencia todas as configurações de rede.
Use a tabela abaixo para comparar as principais diferenças e escolher a opção que se adapta às suas necessidades de carga de trabalho e governança.
| Categoria | Rede virtual gerenciada pelo ADF | Gateway de Dados do Fabric de Rede Virtual |
|---|---|---|
| Serviços suportados | Azure Data Factory & Pipelines de sinapse. | Microsoft Fabric Dataflow Gen2, pipelines de dados do Fabric, trabalho de cópia do Fabric, espelhamento do Fabric, modelos semânticos do Power BI e relatórios paginados do Power BI |
| Propriedade de VNET | Rede virtual gerida pela Microsoft (o cliente não controla a rede). | Rede virtual gerenciada pelo cliente (o cliente tem controle total). |
| Pontos finais privados | Autocriado e gerenciado pelo ADF para serviços com suporte (Armazenamento do Azure, Banco de Dados SQL, etc.). | Os clientes configuram o gateway da rede virtual para conectar as cargas de trabalho de malha aos recursos dentro da sua rede virtual. |
| Controlo de rede | Limitado - os clientes só podem permitir que o tempo de execução da integração da rede virtual seja enviado a endpoints privados. | Controlo total - o cliente configura firewall, regras NSG, encaminhamento na sua própria rede virtual. |
| Instalação / Implementação | Não é necessária instalação; totalmente gerenciado pela Microsoft dentro de uma rede virtual oculta. | Requer a implementação de um Data Gateway de rede virtual na rede virtual do cliente. |
| Elevada Disponibilidade | Gerido pela Microsoft, escalado automaticamente dentro da rede virtual da ADF. Mude para o modo de reserva ao ativar o TTL. | Suporta dimensionamento e HA (clusters baseados em nós), mas é executado dentro da rede virtual gerenciada pelo cliente. Suporta até sete nós. |
Capacidades da Fabric Data Factory
A Fabric Data Factory inclui o Copilot for Data Factory, que utiliza linguagem natural para ajudar a criar e gerir pipelines, fluxos de dados e outros itens da Data Factory.
Integração de Lakehouse e Data Warehouse nativos
Uma das maiores vantagens do Fabric Data Factory é como ele se conecta com suas plataformas de dados. O Lakehouse e o Data Warehouse funcionam como fontes e destinos em seus pipelines, facilitando a criação de projetos de dados integrados. Os pipelines também podem operar em tabelas lakehouse apoiadas por atalhos OneLake, permitindo-lhe transformar e orquestrar dados de fontes externas (incluindo partilhas entre locatários) sem antes os copiar para o seu espaço de trabalho.
Notificações por email com o Office 365
A atividade do Office 365 Outlook envia notificações personalizadas por e-mail sobre execuções de pipeline, estado da atividade e resultados.
Experiência de conexão de dados simplificada
A experiência Get data do Fabric fornece uma configuração guiada para pipelines de cópias e novas ligações.
Experiência em CI/CD
O Fabric desacopla o CI/CD dos modelos ARM, para que possa escolher itens individuais do espaço de trabalho para operações de check-in, check-out, validação e colaboração. Para além da integração externa de repositórios Git, o Fabric oferece pipelines de implementação integrados que não requerem repositório externo.
Insights sobre o hub de monitorização e a atividade
O hub de monitorização da Fabric Data Factory proporciona visibilidade entre espaços de trabalho sobre todas as cargas de trabalho, com análise detalhada em execuções individuais de atividades.
Para as atividades de cópia, selecione o botão de detalhes da corrida (o ícone dos óculos) para visualizar uma divisão da duração que mostra quanto tempo demorou cada fase.
Duplicação rápida de pipeline
Utilize a funcionalidade Guardar como para duplicar qualquer pipeline existente. Use-o para criar cópias de desenvolvimento, testar variações ou configurar fluxos de trabalho semelhantes.
Conteúdo relacionado
Observação
As novas funcionalidades desenvolvidas para o Data Factory no Fabric não são retroportadas para os pipelines do Azure Data Factory nem do Azure Synapse. As duas plataformas mantêm roteiros separados. As equipas de produto avaliam os pedidos de backport com base no feedback da comunidade.
Para obter mais informações, consulte os seguintes recursos: