Atualize pipelines de fluxos de dados de mapeamento do Azure Data Factory para o Fabric (Pré-visualização)

Important

A experiência de atualização do Azure Data Factory Mapping Data Flows to Fabric está atualmente em pré-visualização pública e sujeita a alterações.

Atualize os pipelines do Azure Data Factory que contêm fluxos de dados de mapeamento para o Microsoft Fabric Data Factory seguindo os passos deste artigo. Este artigo aborda o percurso de migração de pipelines que utilizam fluxos de dados de mapeamento, os quais são convertidos em transformações de fluxo de dados de mapeamento (MDF) no Dataflow Gen2. Para migrar pipelines que não contenham Mapeamento de Fluxos de Dados, veja Atualizar os seus pipelines do Azure Data Factory para Fabric.

Pré-requisitos

Antes de iniciar a atualização, certifique-se de que tem o seguinte:

  • Acesso a uma instância do Azure Data Factory contendo fluxos de dados de mapeamento.
  • Acesso a um tenant com o Microsoft Fabric ativado.
  • Permissões de Contribuidor ou superior para o espaço de trabalho do Fabric.
  • Ligações Fabric existentes para fontes e destinos de dados suportados.

Cenários de atualização suportados

A ferramenta de atualização suporta os seguintes cenários:

  • pipelines do Azure Data Factory que contêm Mapping Data Flows.
  • Pipelines do Azure Synapse Analytics que contêm Mapping Data Flows.
  • Migração lift-and-shift de cargas de trabalho existentes do Mapping Fluxo de Dados para o Fabric.

Iniciar a migração

Pode começar a migrar pipelines do Azure Data Factory contendo Mapping Data Flows a partir de qualquer um dos seguintes pontos de entrada.

Ponto de entrada Melhor para Etapa inicial
From Azure Data Factory Execução de uma avaliação da prontidão do oleoduto antes da migração Opção A: Começar a partir de Azure Data Factory
A partir de um espaço de trabalho do Fabric Montar e migrar diretamente uma instância do Azure Data Factory a partir do Fabric Opção B: Começar pelo Fabric

Ambas as opções prosseguem em Migrar pipelines.

Opção A: Começar no Azure Data Factory

Use esta opção quando quiser:

  • Verificar a preparação para a migração
  • Executar a avaliação de migração
  • Avaliar pipelines suportados antes da migração

Iniciar a migração a partir do Azure Data Factory

  1. Abra o portal do Azure Data Factory.

  2. Selecionar Migrar para Fabric (Pré-visualização).

  3. Selecione Introdução.

    Captura de ecrã do portal Azure Data Factory a mostrar a opção Migrar para o Fabric (Pré-visualização) e o botão Começar.

Rever a avaliação da migração

  1. Na página Fabric Migration Assessment (Preview), consulte a lista de pipelines suportados disponíveis para migração.

  2. Selecione Avançar.

    Captura de ecrã da página de Avaliação de Migração do Fabric listando pipelines prontos para migração.

Montar o Azure Data Factory no Fabric

  1. Seleciona o espaço de trabalho Fabric onde queres montar a instância do Azure Data Factory.

  2. Selecione Montar.

  3. Depois de concluída a operação de montagem, selecione Continuar em Fabric.

    Captura de ecrã do ecrã de seleção do espaço de trabalho do Fabric usado para montar uma instância do Azure Data Factory.

    Captura de ecrã do ecrã Continue no Fabric para abrir a instância montada do Azure Data Factory no Microsoft Fabric.

Opção B: Começar a partir do Fabric

Usa esta opção quando já souberes qual instância do Azure Data Factory queres migrar e quiseres começar diretamente pelo Fabric.

Montar o Azure Data Factory no Fabric

  1. Abra o espaço de trabalho do Fabric.

  2. Selecione Novo item.

  3. Selecione Azure Data Factory.

    Captura de ecrã do espaço de trabalho do Microsoft Fabric, na nova experiência de criação de itens, a mostrar a seleção do Azure Data Factory.

  4. Selecione a instância do Azure Data Factory para montar.

  5. Selecione OK.

    Captura de ecrã do diálogo de seleção de instâncias do Azure Data Factory.

Migrar fluxos de trabalho

Depois de montar o Azure Data Factory no Fabric, continue com o fluxo de trabalho de migração.

Selecionar pipelines para migrar

  1. Abra o item montado do Azure Data Factory no Fabric.

  2. Selecionar Migrar para Fabric (Pré-visualização).

    Captura de ecrã do item montado no Azure Data Factory no Fabric a mostrar a opção Migrar para o Fabric (Pré-visualização).

  3. Selecione a canalização que contém o Mapping Fluxo de Dados.

  4. Selecione ligações para Revisão.

    Captura de ecrã da página de seleção de pipelines com pipelines prontos para a migração.

Mapear serviços ligados a ligações Fabric

  1. Na página de ligações do Mapa :

    • Consulte os serviços ligados do Azure Data Factory.
    • Mapeie-as para ligações do Fabric.

  2. Selecione Confirmar.

    Captura de ecrã da página de conexões Map para mapear os serviços ligados pelo Azure Data Factory às ligações do Fabric.

Rever os resultados da migração

Após a conclusão da migração, a ferramenta:

  • Migra pipelines e mapeamentos de fluxos de dados em conjunto.
  • Converte fluxos de dados de mapeamento em transformações MDF no Dataflow Gen2.
  • Coloca artefactos migrados numa nova pasta no espaço de trabalho do Fabric.

Selecionar Ver no espaço de trabalho.

Captura de ecrã da página de resultados da migração mostrando os recursos migrados e os seus estados.

Validar transformações do fluxo de dados de mapeamento migrado

Após a migração, abre a pasta de migração e valida as transformações MDF atualizadas antes de as executares.

Abra o item migrado Dataflow Gen2

  1. Abra o item migrado Dataflow Gen2.

  2. Reveja a lógica de transformação MDF migrada.

  3. Valide o grafo de transformação através da barra de ferramentas de transformação MDF.

    Captura de ecrã do ambiente de criação da transformação de fluxo de dados de mapeamento que mostra o grafo de transformação migrado.

Guardar a transformação de fluxo de dados de mapeamento migrado

  1. Abre o menu Guardar e executar .

  2. Selecione Guardar.

    Captura de ecrã do menu Guardar e executar na experiência de criação de transformações do fluxo de dados de mapeamento.

Note

Apenas a ação Guardar é suportada atualmente para transformações MDF durante a versão preliminar pública.

Executar pipelines migrados

Após a validação, execute o pipeline do Fabric migrado.

Configurar a execução do pipeline

  1. Abra o pipeline migrado do Fabric.

  2. Selecione a atividade Dataflow.

  3. Reveja a consulta de transformação do MDF selecionada.

  4. Configura as definições de runtime do Spark, se necessário.

    Captura de ecrã do editor de pipeline a mostrar a configuração da atividade Dataflow para uma transformação de fluxo de dados de mapeamento.

Executar o pipeline migrado

  1. Valide a canalização.

  2. Executar o pipeline manualmente ou configurar agendamentos e acionadores.

    Captura de ecrã da execução do pipeline e das opções de agendamento para o pipeline migrado.

Monitorizar as execuções das transformações do fluxo de dados de mapeamento migrado

Pode monitorizar as execuções de pipelines migrados e de transformações MDF através de:

  • Painel de saída da canalização
  • Hub de monitoramento
  • Execuções de atividades
  • Detalhes da execução da atividade do fluxo de dados

Captura de ecrã do painel de saída do pipeline a mostrar o estado da atividade de execução do Dataflow.

Para rever os detalhes da execução:

  1. Abre os detalhes da execução do pipeline.

  2. Selecione a atividade Dataflow em Atividade Executadas.

  3. Veja o estado da execução e os detalhes do tempo de execução.

    Captura de ecrã do Centro de Monitorização que mostra as execuções das atividades do pipeline e os respetivos estados.

    Captura de ecrã dos detalhes da execução da atividade do Dataflow que mostram métricas de processamento.

Limitações

As seguintes limitações aplicam-se atualmente durante a pré-visualização pública:

Area Limitação
Flowlets Não suportado.
Biblioteca de Fluxo de Dados Não suportado.
Funções definidas pelo utilizador (UDFs) Não suportado.
Execução de fluxo de dados As transformações MDF só podem ser executadas através da atividade Pipeline Dataflow. Refresh dataflow não é suportado.
Rede Virtual Gerida O suporte para Managed Rede Virtual não está disponível.
Execução no ambiente de execução do Spark Atualmente, as transformações MDF utilizam infraestrutura de runtime Spark semelhante ao Azure Data Factory e ao Azure Synapse Analytics Mapping Data Flows.

Conteúdo relacionado

  • Last updated on