Monitorar execuções de pipeline no Fabric Data Factory

Este artigo mostra como monitorar as execuções do pipeline. Se você precisa verificar como as coisas estão indo ou solucionar problemas específicos, você pode acompanhar o progresso, detectar problemas mais cedo e manter os fluxos de trabalho funcionando sem problemas. O monitoramento ajuda você a detectar problemas antecipadamente e manter seus fluxos de trabalho no controle.

Monitorar rodadas de pipeline

  1. Para monitorar as execuções do pipeline, passe o mouse sobre o pipeline em seu espaço de trabalho. O botão Mais opções (...) aparece à direita do nome do pipeline.

    Captura de tela mostrando onde encontrar mais opções de pipeline.

  2. Selecione Mais opções (...) para exibir a lista de opções. Em seguida, selecione Exibir histórico de execuções. Essa ação abrirá um submenu no lado direito da tela com todas as execuções recentes e os respectivos status.

    Captura de tela mostrando onde selecionar Exibir histórico de execução.

    Captura de tela mostrando uma lista de execuções recentes.

  3. Selecione Ir para monitorar na captura de tela anterior para exibir mais detalhes e filtrar os resultados. Utilize o filtro para localizar execuções de pipeline específicas com base em vários critérios.

    Captura de tela das opções de filtro.

  4. Selecione uma das execuções do pipeline para exibir informações detalhadas. Você pode exibir a aparência do pipeline e exibir mais propriedades, como ID de execução ou erros, se a execução do pipeline falhar.

    Captura de tela dos detalhes da execução recente.

  5. Se você tiver mais de 2.000 execuções de atividade em seus pipelines, selecione Carregar mais para ver mais resultados na mesma página de monitoramento.

    Captura de tela de execuções de atividades com uma caixa de texto de carregamento mais realçada.

    Captura de tela com todos os detalhes da execução de atividade carregados.

  6. Use Filtro para filtrar por status de atividade ou opções de coluna para alterar quais colunas aparecem no modo de exibição de monitoramento.

    Captura de tela das opções de filtro de execução de atividade.

    Captura de tela das opções de coluna.

    Você também pode pesquisar por nome da atividade, tipo de atividade ou ID de execução da atividade na caixa Filtrar por palavra-chave.

    Captura de tela da caixa de filtro por palavra-chave.

    Captura de tela dos resultados do filtro por palavra-chave.

  7. Para exportar seus dados de monitoramento, selecione Exportar para CSV.

    Captura de tela da opção exportar para CSV.

  8. Para encontrar mais informações sobre a execução do seu pipeline Entrada e Saída, selecione os links de entrada ou saída à direita da linha relevante em Execuções de atividade.

  9. Selecione Atualizar pipeline para fazer alterações no pipeline nesta tela. Essa ação leva você de volta à tela do pipeline.

  10. Selecione Executar novamente para executar novamente o pipeline. Escolha executar novamente todo o pipeline ou executar novamente apenas a partir da atividade que falhou.

    Captura de tela mostrando a execução novamente da atividade com falha.

  11. Para exibir detalhes de desempenho, selecione uma atividade na lista de execuções de atividade. O painel de detalhes do desempenho é aberto.

    Captura de tela da tela de detalhes da Cópia de dados.

    Encontre mais detalhes em Detalhamento de Duração e Avançado.

    Captura de tela de detalhes adicionais para execução da cópia de dados.

Exibição de Gantt

A visualização de Gantt oferece uma forma clara e visual de acompanhar execuções de pipeline ao longo do tempo. Cada execução aparece como uma barra, agrupada pelo nome do pipeline, e o comprimento da barra mostra quanto tempo a execução levou. Use essa exibição para detectar padrões, comparar durações e identificar atrasos, sobreposições ou anomalias rapidamente.

Captura de tela mostrando onde alternar entre as exibições.

O comprimento da barra representa a duração da execução do pipeline. Você também pode selecionar a barra para ver mais detalhes.

Captura de tela da exibição de Gantt mostrando diferentes comprimentos de barra.

Captura de tela dos detalhes da execução do pipeline na exibição de Gantt.

Monitoramento de workspace para pipelines

O monitoramento do espaço de trabalho fornece visibilidade em nível de log para todos os itens em um espaço de trabalho, incluindo pipelines.

  1. Para habilitar o monitoramento do workspace, vá para as configurações do Workspace em seu workspace Fabric e selecione Monitoramento.

  2. Adicione uma casa de eventos de monitoramento e ative a atividade do workspace do Log. O Fabric cria um banco de dados KQL (Kusto Query Language) dentro do eventhouse no seu espaço de trabalho para armazenar os logs.

    Captura de tela de como ativar o monitoramento do espaço de trabalho.

  3. Vá para o banco de dados KQL que o Fabric criou. Você pode encontrá-lo por meio do link do banco de dados de monitoramento nas configurações de monitoramento ou diretamente em seu workspace.

    Captura de tela dos itens gerados com base no monitoramento do workspace.

  4. No banco de dados KQL, a tabela ItemJobEventLogs captura eventos no nível do pipeline que ocorrem em seu espaço de trabalho (também chamado de monitoramento de L1). Os logs incluem nome do pipeline, status de execução, carimbos de data/hora e diagnóstico do sistema.

    Captura de tela da tabela de monitoramento do workspace de pipeline.

Use consultas KQL na casa de eventos de monitoramento para analisar:

  • Tendências de sucesso e fracasso
  • Métricas de desempenho
  • Detalhes do erro para solução de problemas

Monitorar a utilização da capacidade

Os administradores de capacidade do Fabric podem usar o aplicativo Microsoft Fabric Capacity Metrics para visualizar os recursos de capacidade. Este aplicativo mostra quanto os pipelines, os fluxos de dados e outros itens consomem de utilização de CPU, tempo de processamento e memória em espaços de trabalho habilitados para capacidade. Use-o para identificar causas de sobrecarga, tempos de pico de demanda e os itens com maior uso de recursos.