Migrar pipelines de fluxos de dados de mapeamento do Azure Data Factory para o Fabric (Prévia)

Importante

A experiência de atualização do Azure Data Factory Mapping Data Flows para o Fabric está atualmente em versão prévia pública e está sujeita a alterações.

Atualize os pipelines do Azure Data Factory que contêm fluxos de dados de mapeamento para o Microsoft Fabric Data Factory seguindo as etapas deste artigo. Este artigo aborda o caminho de migração para pipelines que usam fluxos de dados de mapeamento, que são convertidos em transformações de MDF (fluxo de dados de mapeamento) no Dataflow Gen2. Para migrar pipelines que não contêm Mapeamento de Fluxo de Dados, consulte Migrar seus pipelines do Azure Data Factory para o Fabric.

Pré-requisitos

Antes de iniciar a atualização, verifique se você tem o seguinte:

Cenários de atualização com suporte

A ferramenta de atualização dá suporte aos seguintes cenários:

  • Azure Data Factory pipelines que contêm fluxos de dados de mapeamento.
  • Pipelines do Azure Synapse Analytics que contêm Fluxos de Dados de Mapeamento.
  • Migração lift-and-shift de cargas de trabalho existentes do Mapping Fluxo de Dados para o Fabric.

Inicie a migração

Você pode começar a migrar pipelines do Azure Data Factory que contêm Fluxos de Dados de Mapeamento a partir de qualquer um dos seguintes pontos de entrada.

Ponto de entrada Mais adequado para Etapa inicial
De Azure Data Factory Realizar uma avaliação da prontidão do pipeline antes da migração Opção A: Começar a partir de Azure Data Factory
De um espaço de trabalho do Fabric Montar e migrar diretamente uma instância de Azure Data Factory de Fabric Option B: começar a partir de Fabric

Ambas as opções continuam em Pipelines de Migração.

Opção A: iniciar a partir de Azure Data Factory

Use esta opção quando quiser:

  • Examinar a preparação para a migração
  • Executar avaliação de migração
  • Avaliar os pipelines compatíveis antes da migração

Iniciar a migração de Azure Data Factory

  1. Abra o portal do Azure Data Factory.

  2. Selecione Migrar para Fabric (versão prévia).

  3. Selecione Começar.

    Captura de tela do portal Azure Data Factory mostrando a opção Migrar para Fabric (Versão Prévia) e o botão Introdução.

Examinar a avaliação de migração

  1. Na página Avaliação de Migração do Fabric (Versão Prévia), revise a lista de pipelines compatíveis com migração.

  2. Selecione Próximo.

    Captura de tela da página de avaliação de migração do Fabric que lista pipelines prontos para a migração.

Integrar o Azure Data Factory no Fabric

  1. Selecione o Fabric workspace no qual você deseja montar a instância de Azure Data Factory.

  2. Selecione Montar.

  3. Após a conclusão da operação de montagem, selecione Continuar no Fabric.

    Captura de tela da tela de seleção Fabric workspace usada para montar uma instância de Azure Data Factory.

    Captura de tela da tela Continue in Fabric para abrir no Microsoft Fabric a instância montada do Azure Data Factory.

Opção B: iniciar a partir de Fabric

Use essa opção quando já souber qual instância de Azure Data Factory deseja migrar e deseja começar diretamente do Fabric.

Montar o Azure Data Factory no Fabric

  1. Abra o espaço de trabalho do Fabric.

  2. Selecione Novo item.

  3. Selecione Azure Data Factory.

    Captura de tela da experiência de Novo item no espaço de trabalho do Microsoft Fabric, mostrando a seleção do Azure Data Factory.

  4. Selecione a instância de Azure Data Factory a ser montada.

  5. Selecione OK.

    Captura de tela da caixa de diálogo de seleção da instância Azure Data Factory.

Migrar pipelines

Depois de montar Azure Data Factory em Fabric, continue com o fluxo de trabalho de migração.

Selecione pipelines para migrar

  1. Abra o item de Azure Data Factory montado em Fabric.

  2. Selecione Migrar para Fabric (versão prévia).

    Captura de tela do item de Azure Data Factory montado em Fabric mostrando a opção Migrar para Fabric (Versão Prévia).

  3. Selecione o pipeline que contém o fluxo de dados de mapeamento.

  4. Selecione Revisar conexões.

    Captura de tela da tela de seleção do pipeline mostrando pipelines prontos para migração.

Mapear serviços vinculados a conexões do Fabric

  1. Na página de conexões do Mapa :

    • Examine os serviços vinculados do Azure Data Factory.
    • Mapeie-os para conexões do Fabric.

  2. Selecione Confirmar.

    Captura de tela da página Mapear conexões para mapear os serviços vinculados do Azure Data Factory às conexões do Fabric.

Examinar os resultados da migração

Após a conclusão da migração, a ferramenta:

  • Migra pipelines e fluxos de dados de mapeamento em conjunto.
  • Converte fluxos de dados de mapeamento em transformações de MDF no Dataflow Gen2.
  • Coloca artefatos migrados em uma nova pasta no workspace Fabric.

Selecione Exibição no workspace.

Captura de tela da página de resultados da migração mostrando os recursos migrados e seus status.

Validar transformações de fluxo de dados de mapeamento após a migração

Após a migração, abra a pasta de migração e valide as transformações de MDF atualizadas antes de executá-las.

Abrir o item do Dataflow Gen2 migrado

  1. Abra o item do Dataflow Gen2 migrado.

  2. Examine a lógica de transformação MDF migrada.

  3. Valide o grafo de transformação usando a barra de ferramentas de transformação MDF.

    Captura de tela da experiência de criação da transformação de fluxo de dados de mapeamento mostrando o grafo de transformação migrado.

Salvar a transformação de fluxo de dados de mapeamento migrado

  1. Abra o menu Salvar &executar .

  2. Selecione Salvar.

    Captura de tela do menu Salvar e executar na experiência de criação de transformações no fluxo de dados de mapeamento.

Note

No momento, há suporte apenas para a ação Salvar para transformações de MDF durante a visualização pública.

Executar pipelines migrados

Após a validação, execute o pipeline de Fabric migrado.

Configurar a execução do pipeline

  1. Abra o pipeline migrado do Fabric.

  2. Selecione a atividade de fluxo de dados.

  3. Examine a consulta de transformação MDF selecionada.

  4. Defina as configurações de runtime do Spark, se necessário.

    Captura de tela do editor do pipeline mostrando a configuração da atividade Dataflow para uma transformação em um fluxo de dados de mapeamento.

Executar o pipeline migrado

  1. Validar o pipeline.

  2. Execute o pipeline manualmente ou configure agendamentos e gatilhos.

    Captura de tela da execução do pipeline e das opções de agendamento para o pipeline migrado.

Monitorar execuções de transformação de fluxo de dados de mapeamento migrados

Você pode monitorar o pipeline migrado e as execuções de transformação do MDF por meio de:

  • Painel de saída do pipeline
  • Hub de Monitoramento
  • Execuções de atividades
  • Detalhes da execução da atividade do fluxo de dados

Captura de tela do painel de saída do pipeline mostrando o status de execução da atividade de fluxo de dados.

Para examinar os detalhes da execução:

  1. Abra os detalhes da execução do pipeline.

  2. Selecione a atividade de fluxo de dados em Execuções de Atividade.

  3. Examine o status da execução e os detalhes do runtime.

    Captura de tela do Hub de Monitoramento mostrando execuções de atividade de pipeline e seu status.

    Captura de tela dos detalhes de execução da atividade de fluxo de dados mostrando as métricas de processamento.

Limitações

As seguintes limitações se aplicam atualmente durante a visualização pública:

Area Limitation
Flowlets Sem suporte.
Biblioteca de Fluxo de Dados Sem suporte.
Funções definidas pelo usuário (UDFs) Sem suporte.
Execução de fluxo de dados As transformações de MDF só podem ser executadas pela atividade Fluxo de Dados de Pipeline. Não há suporte para atualizar o fluxo de dados.
Rede Virtual Gerenciada O suporte à Rede Virtual Gerenciada não está disponível.
Execução de runtime do Spark As transformações do MDF atualmente usam uma infraestrutura de runtime do Apache Spark semelhante à usada pelo Azure Data Factory e pelo Mapeamento de Fluxo de Dados do Azure Synapse Analytics.

Conteúdo relacionado

  • Last updated on