Migre pipelines do Azure Data Factory com Mapping Data Flows para o Fabric (Preview)

Use a experiência de atualização integrada do Azure Data Factory para atualizar pipelines elegíveis contendo Mapping Data Flows para o Microsoft Fabric Data Factory. Durante a atualização, os Fluxos de Dados de Mapeamento suportados são convertidos em transformações de fluxo de dados de mapeamento (MDF) no Dataflow Gen2, e os pipelines associados são atualizados para pipelines Fabric.

Este artigo descreve os passos adicionais de validação, execução e monitoramento para transformações MDF atualizadas. Para uma visão geral da experiência completa de atualização do Azure Data Factory, veja Atualizar seus pipelines do Azure Data Factory para Fabric Data Factory.

Pré-requisitos

Antes de iniciar a atualização, verifique se você tem o seguinte:

• Uma instância do Azure Data Factory com pelo menos um pipeline que contém um Mapping Fluxo de Dados.
• Permissão para acessar a instância do Azure Data Factory e seus pipelines.
• Acesso a um tenant habilitado para o Microsoft Fabric.
• Uma licença Fabric. Se você não tiver uma, a experiência View in Fabric (Preview) solicita que você se cadastre para uma licença gratuita, caso a inscrição em self-service esteja ativada para seu locatário.
• Acesso a uma capacidade Fabric, como uma capacidade Trial.
• Permissões de contribuidor ou superiores para criar e atualizar itens no espaço de trabalho do Fabric.
• Conexões Fabric para armazenamentos de dados de origem e destino que não são criadas automaticamente durante a atualização.

A experiência de atualização cria automaticamente conexões Fabric suportadas quando suas configurações de autenticação do Azure Data Factory podem ser mapeadas com segurança. Para outras conexões, selecione uma conexão Fabric existente ou crie uma antes de iniciar a atualização.

Cenários de atualização com suporte

A experiência de atualização embutida suporta pipelines elegíveis do Azure Data Factory que contêm Fluxos de Dados de Mapeamento. Durante o processo de atualização:

• Os pipelines selecionados do Azure Data Factory são atualizados para pipelines Fabric.
• Fluxos de Dados de Mapeamento suportados são convertidos em transformações MDF no Dataflow Gen2.
• Pipelines e seus Fluxos de Dados de Mapeamento referenciados são atualizados juntos.
• Serviços vinculados suportados são mapeados para conexões Fabric novas ou existentes.
• Os pipelines originais do Azure Data Factory e os Mapping Data Flows permanecem inalterados.

Antes de atualizar, revise as limitações das transformações MDF, conectores suportados, transformações, métodos de autenticação e requisitos de rede.

Atualize os pipelines que contêm fluxos de dados de mapeamento

Inicie a atualização no Azure Data Factory através de View in Fabric (Preview). Ver sua fábrica no Fabric não atualiza nem altera seus pipelines. A atualização só começa depois que você revisa a prontidão, seleciona pipelines e seleciona explicitamente Iniciar atualização (Prévia).

Passo 1: Visualize seu Azure Data Factory no Fabric

1. Abra seu portal Azure Data Factory.

2. Selecione Exibir no Fabric (Preview).

   

3. Se for a sua primeira vez usando essa experiência, revise e aceite os termos e condições, e então selecione Try Fabric Data Factory.

   

4. Siga os passos de integração para:

   • Verifique ou obtenha uma licença Fabric.
   • Selecione uma capacidade do Fabric.
   • Crie ou reutilize o espaço de trabalho do Fabric associado ao seu Azure Data Factory.
   • Exiba o Azure Data Factory como item no espaço de trabalho.
   • Opcionalmente, compartilhe o acesso ao espaço de trabalho com usuários e grupos existentes do Azure Data Factory.

   

Após a configuração, seu Azure Data Factory fica visível no Fabric. Nada é atualizado, e a execução e faturamento do pipeline permanecem no Azure Data Factory.

Para detalhes completos da configuração inicial, veja Atualize seus pipelines do Azure Data Factory para o Fabric Data Factory.

Passo 2: Prontidão para revisão

1. No item do Azure Data Factory no Fabric, selecione Avaliar e fazer upgrade.

   

2. Revise a avaliação de prontidão.

3. Identifique os pipelines que contêm Mapping Data Flows que você deseja atualizar.

4. Revise quaisquer pipelines categorizados como Review e aborde capacidades não suportadas ou parcialmente suportadas antes de atualizar.

5. Selecione os pipelines elegíveis que você quer atualizar.

A avaliação é somente leitura e não modifica nem faz upgrade dos pipelines selecionados.

Passo 3: Revise as conexões

1. Selecione Revisar conexões.
2. Revise os serviços vinculados do Azure Data Factory usados pelos pipelines selecionados e pelos Fluxos de Dados de Mapeamento.
3. Verifique as conexões que foram criadas automaticamente.
4. Para conexões que não foram criadas automaticamente, selecione uma conexão Fabric existente ou crie uma nova conexão.
5. Confirme que cada origem e destino obrigatórios estão mapeados para uma conexão válida do Fabric.

Passo 4: Inicie a atualização

1. Analise os pipelines e mapeamentos de conexões selecionados.
2. Selecione Iniciar atualização (Prévia).
3. Aguarde a conclusão da atualização.
4. Revise o status de cada item atualizado por upgrade.

Durante a atualização:

• Pipelines selecionados do Azure Data Factory são atualizados para pipelines Fabric.
• Os fluxos de dados de mapeamento compatíveis referenciados pelos pipelines selecionados são convertidos em transformações MDF no Dataflow Gen2.
• Pipelines e seus Mapping Data Flows são atualizados juntos.
• Itens atualizados são colocados em uma pasta prefixada com o nome de origem do Azure Data Factory.
• Os pipelines de origem e os fluxos de dados de mapeamento do Azure Data Factory permanecem inalterados.

Validar transformações de fluxo de dados de mapeamento atualizado

Após o término da atualização, abra os resultados da atualização ou a pasta contendo os itens atualizados e valide as transformações MDF antes de executar os pipelines.

Abra o item atualizado Dataflow Gen2

1. Abra o item atualizado Dataflow Gen2.

2. Revise a lógica de transformação de MDF atualizada.

3. Valide o grafo de transformação.

   

Salvar a transformação de fluxo de dados de mapeamento atualizada

1. Abra o menu Salvar &executar .

2. Selecione Salvar.

   

Executar pipelines atualizados

Após a validação, execute o pipeline Fabric atualizado.

Configurar a execução do pipeline

1. Abra o pipeline Fabric atualizado.

2. Selecione a atividade de fluxo de dados.

3. Examine a consulta de transformação MDF selecionada.

4. Defina as configurações de runtime do Spark, se necessário.

   

Execute o pipeline atualizado

1. Validar o pipeline.

2. Verifique se todas as conexões necessárias estão mapeadas e autenticadas.

3. Reative todas as atividades que você desativou por causa de conexões não mapeadas.

4. Rodar o pipeline manualmente.

5. Compare os resultados obtidos com o pipeline original do Azure Data Factory.

6. Após a validação, execute ou configure, e reative agendamentos e gatilhos conforme necessário.

   

Validar os resultados da atualização

Antes do corte de produção, valide a carga de trabalho atualizada em um ambiente não produtivo:

• Confirme que você mapeou e autenticou todas as conexões Fabric necessárias.
• Compare as contagens de linhas de origem e de sink com a execução original do Azure Data Factory.
• Valide o schema, tipos de dados, o tratamento de valores nulos e o comportamento de schema drift.
• Valide expressões de mapeamento Fluxo de Dados e resultados de transformação.
• Verifique o comportamento de inserir, atualizar, upsert e excluir.
• Valide parâmetros e conteúdo dinâmico.
• Confirme o comportamento idempotente quando os pipelines forem reexecutados.
• Revise o tratamento e o monitoramento de erros.
• Compare o comportamento em tempo de execução e o desempenho sem assumir a mesma duração de execução.
• Reative e configure os gatilhos somente após concluir a validação de ponta a ponta.

Os pipelines originais do Azure Data Factory e os Mapping Data Flows continuam disponíveis para validação lado a lado.

Monitorar execuções de transformadas de fluxo de dados de mapeamento atualizadas

Você pode monitorar execuções de pipelines atualizados e de transformações MDF por meio de:

• Painel de saída do pipeline
• Hub de Monitoramento
• Execuções de atividades
• Detalhes da execução da atividade do fluxo de dados

Para examinar os detalhes da execução:

1. Abra os detalhes da execução do pipeline.

2. Selecione a atividade de fluxo de dados em Execuções de Atividade.

3. Examine o status da execução e os detalhes do runtime.

   

   

Limitações

As limitações gerais de atualização do Azure Data Factory também se aplicam a pipelines que contêm Fluxos de Dados de Mapeamento. Revise as limitações conhecidas antes de selecionar pipelines para atualizar.

As seguintes limitações atualmente se aplicam às transformadas MDF durante a pré-visualização pública:

Conteúdo relacionado

• Atualize seus pipelines do Azure Data Factory para o Fabric Data Factory
• Mapeamento de transformações de fluxo de dados no Dataflow Gen2 (versão prévia)
• Planejamento de atualização para Azure Data Factory para Fabric Data Factory
• Práticas recomendadas de atualização do Azure Data Factory para o Fabric Data Factory
• Preços do Fluxo de Dados Gen2