Atualize pipelines do Azure Data Factory com Mapping Data Flows para Fabric (Preview)

Utilize a experiência de atualização integrada do Azure Data Factory para atualizar pipelines elegíveis que contenham Mapeamento de Fluxos de Dados para o Microsoft Fabric Data Factory. Durante a atualização, os Fluxos de Dados de Mapeamento suportados são convertidos em transformações de fluxo de dados de mapeamento (MDF) na Gen2 do Dataflow, e os pipelines associados são atualizados para pipelines Fabric.

Este artigo descreve os passos adicionais de validação, execução e monitorização para transformações MDF atualizadas. Para uma visão geral da experiência completa de atualização do Azure Data Factory, veja Atualize os seus pipelines do Azure Data Factory para o Fabric Data Factory.

Pré-requisitos

Antes de iniciar a atualização, certifique-se de que tem o seguinte:

• Uma instância do Azure Data Factory com pelo menos um pipeline que contém um Mapping Fluxo de Dados.
• Permissão para aceder à instância do Azure Data Factory e aos seus pipelines.
• Acesso a um tenant com o Microsoft Fabric ativado.
• Uma licença do Fabric. Se não tiver, a experiência de integração View in Fabric (Preview) pede-te para te inscreveres para uma licença gratuita, caso a inscrição em self-service esteja ativada para o teu tenant.
• Acesso a uma capacidade Fabric, como uma capacidade Trial.
• Permissões de contribuidor ou superiores para criar e atualizar itens no espaço de trabalho do Fabric.
• Ligações Fabric para armazenamentos de dados de origem e destino que não são criadas automaticamente durante a atualização.

A experiência de atualização cria automaticamente ligações Fabric suportadas quando as suas configurações de autenticação Azure Data Factory podem ser mapeadas em segurança. Para outras ligações, selecione uma ligação Fabric existente ou crie uma antes de iniciar a atualização.

Cenários de atualização suportados

A experiência de atualização incorporada suporta pipelines elegíveis do Azure Data Factory que contêm Mapping Data Flows. Durante o processo de atualização:

• Os pipelines selecionados do Azure Data Factory são convertidos em pipelines Fabric.
• Os fluxos de dados de mapeamento suportados são convertidos para transformações MDF na Gen2 do fluxo de dados.
• Pipelines e os seus Fluxos de Dados de Mapeamento referenciados são atualizados em conjunto.
• Os serviços ligados suportados são mapeados para ligações Fabric novas ou existentes.
• Os pipelines originais do Azure Data Factory e os Mapping Data Flows mantêm-se inalterados.

Antes de atualizar, reveja as limitações da transformação MDF, conectores suportados, transformações, métodos de autenticação e requisitos de rede.

Atualize os pipelines que contêm Mapping Data Flows

Inicie a atualização no Azure Data Factory através de View in Fabric (Preview). Visualizar a sua fábrica no Fabric não atualiza nem altera os seus pipelines. A atualização só começa depois de rever a prontidão, selecionar pipelines e selecionar explicitamente Iniciar atualização (Pré-visualização).

Passo 1: Veja a sua Azure Data Factory no Fabric

1. Abra o seu portal Azure Data Factory.

2. Selecionar Ver no Fabric (Pré-visualização).

   

3. Se for a sua primeira vez a usar esta experiência, reveja e aceite os termos e condições, e depois selecione Try Fabric Data Factory.

   

4. Siga os passos de integração para:

   • Verifique ou obtenha uma licença Fabric.
   • Selecione uma capacidade do Fabric.
   • Crie ou reutilize o espaço de trabalho Fabric associado ao seu Azure Data Factory.
   • Apresente o Azure Data Factory como um item no espaço de trabalho.
   • Partilhe opcionalmente o acesso ao espaço de trabalho com utilizadores e grupos existentes do Azure Data Factory.

   

Depois da configuração, o seu Azure Data Factory fica visível no Fabric. Nada é atualizado, e a execução e faturação do pipeline permanecem no Azure Data Factory.

Para detalhes completos da configuração inicial, consulte Atualizar os seus pipelines do Azure Data Factory para o Fabric Data Factory.

Passo 2: Revisão da prontidão

1. No item Azure Data Factory no Fabric, selecione Avaliar e atualizar para uma versão superior.

   

2. Revise a avaliação de prontidão.

3. Identifique os pipelines que contêm fluxos de dados de mapeamento que pretende atualizar.

4. Revise quaisquer pipelines categorizados como Review e aborde capacidades não suportadas ou parcialmente suportadas antes de atualizar.

5. Selecione os pipelines elegíveis que pretende atualizar.

A avaliação é apenas de leitura e não modifica nem atualiza para uma versão superior os pipelines selecionados.

Passo 3: Rever as ligações

1. Selecione ligações para Revisão.
2. Revise os serviços ligados do Azure Data Factory usados pelos pipelines selecionados e pelos Mapping Data Flows.
3. Verifica as ligações que foram criadas automaticamente.
4. Para ligações que não foram criadas automaticamente, selecione uma ligação Fabric existente ou crie uma nova ligação.
5. Confirme que cada origem e destino necessários está mapeado para uma ligação Fabric válida.

Passo 4: Iniciar a atualização

1. Reveja os pipelines e mapeamentos de conexão selecionados.
2. Selecione Iniciar atualização (Pré-visualização).
3. Aguarde a conclusão da atualização.
4. Revise o estado de cada item atualizado.

Durante a atualização:

• Os pipelines selecionados do Azure Data Factory são atualizados para pipelines do Fabric.
• Fluxos de Dados de Mapeamento suportados referenciados pelos pipelines selecionados são convertidos para transformadas MDF no Dataflow Gen2.
• Os pipelines e os seus fluxos de dados de mapeamento são atualizados em conjunto.
• Os itens atualizados são colocados numa pasta com o prefixo do nome do Azure Data Factory de origem.
• Os pipelines fonte do Azure Data Factory e os Mapping Data Flows mantêm-se inalterados.

Validar transformações atualizadas do fluxo de dados de mapeamento

Após a atualização terminar, abra os resultados da atualização ou a pasta que contém os itens atualizados e valide as transformações MDF antes de executar os pipelines.

Abra o item atualizado Dataflow Gen2

1. Abra o item Dataflow Gen2 atualizado.

2. Revê a lógica de transformação em MDF atualizada.

3. Valide o grafo de transformação.

   

Guardar a transformação de fluxo de dados de mapeamento atualizado

1. Abre o menu Guardar e executar .

2. Selecione Guardar.

   

Executar pipelines atualizados

Após a validação, execute o pipeline Fabric atualizado.

Configurar a execução do pipeline

1. Abra o pipeline melhorado do Fabric.

2. Selecione a atividade Dataflow.

3. Reveja a consulta de transformação do MDF selecionada.

4. Configura as definições de runtime do Spark, se necessário.

   

Executar o pipeline atualizado

1. Valide a canalização.

2. Verifique se todas as ligações necessárias estão mapeadas e autenticadas.

3. Reativa todas as atividades que desativaste devido a ligações não mapeadas.

4. Executa o pipeline manualmente.

5. Compare os seus resultados com o pipeline original do Azure Data Factory.

6. Após a validação, execute ou configure, e reative os agendamentos e disparadores conforme necessário.

   

Validar os resultados da atualização

Antes do corte de produção, valide a carga de trabalho atualizada num ambiente não produtivo:

• Confirma que mapeou e autenticou todas as ligações Fabric necessárias.
• Compare as contagens de linhas de origem e de sink com a execução original do Azure Data Factory.
• Validar esquema, tipos de dados, gestão de nulos e comportamento de desvio do esquema.
• Validar expressões de mapeamento de Fluxo de Dados e resultados de transformação.
• Verifica o comportamento de inserir, atualizar, upsert e apagar.
• Valide parâmetros e conteúdo dinâmico.
• Confirme o comportamento idempotente quando os pipelines são reexecutados.
• Reveja o tratamento e monitorização de erros.
• Compare o comportamento e o desempenho em tempo de execução sem assumir uma duração de execução idêntica.
• Reative e configure os triggers apenas após completar a validação de ponta a ponta.

Os pipelines originais do Azure Data Factory e os Mapping Data Flows continuam disponíveis para validação lado a lado.

Monitorizar execuções atualizadas de transformadas de fluxo de dados de mapeamento

Pode monitorizar as execuções de pipelines atualizados e transformações MDF através de:

• Painel de saída da canalização
• Hub de monitoramento
• Execuções de atividades
• Detalhes da execução da atividade do fluxo de dados

Para rever os detalhes da execução:

1. Abre os detalhes da execução do pipeline.

2. Selecione a atividade Dataflow em Atividade Executadas.

3. Veja o estado da execução e os detalhes do tempo de execução.

   

   

Limitações

As limitações gerais de atualização do Azure Data Factory também se aplicam a pipelines que contêm Mapping Data Flows. Revise as limitações conhecidas antes de selecionar pipelines para atualizar.

As seguintes limitações aplicam-se atualmente às transformações MDF durante a pré-visualização pública:

Conteúdo relacionado

• Atualize os seus pipelines do Azure Data Factory para o Fabric Data Factory
• Mapeamento de transformações de fluxo de dados em Dataflow Gen2 (Pré-visualização)
• Planeamento de atualização para Azure Data Factory para Fabric Data Factory
• Melhores práticas de atualização do Azure Data Factory para o Fabric Data Factory
• Preços para Dataflow Gen2