O pipeline de monitorização é executado no Fabric Data Factory

Este artigo mostra-lhe como monitorizar as execuções do seu pipeline. Quer precise de verificar como as coisas estão a correr ou de resolver problemas específicos, pode acompanhar o progresso, identificar problemas cedo e manter os fluxos de trabalho a funcionar sem problemas. A monitorização ajuda-o a detetar problemas cedo e a manter os seus fluxos de trabalho no caminho certo.

Monitorizar execuções de pipeline

  1. Para monitorizar as execuções do pipeline, coloque o cursor sobre o pipeline no espaço de trabalho. O botão Mais opções (...) aparece à direita do nome do seu pipeline.

    Captura de tela mostrando onde encontrar mais opções de pipeline.

  2. Selecione Mais opções (...) para mostrar a lista de opções. Em seguida, selecione Exibir histórico de execução. Esta ação abre um submenu no lado direito da tela com todas as suas execuções recentes e status de execução.

    Captura de ecrã que mostra onde selecionar Ver histórico de execução.

    Captura de ecrã que mostra uma lista de execução recente.

  3. Selecione Ir para o monitor a partir da captura de ecrã anterior para ver mais detalhes e filtrar os resultados. Use o filtro para localizar execuções de pipeline específicas com base em vários critérios.

    Captura de ecrã das opções de filtro.

  4. Selecione uma das execuções do seu pipeline para ver informações detalhadas. Pode ver o aspeto do seu pipeline e consultar mais propriedades, como o ID da execução ou os erros, se a execução do pipeline tiver falhado.

    Captura de ecrã dos detalhes da execução recente.

  5. Se tiver mais de 2.000 execuções de atividades nos seus pipelines, selecione Carregar mais para ver mais resultados na mesma página de monitorização.

    Captura de ecrã das execuções de atividades com uma caixa de texto de carregamento adicional destacada.

    Captura de ecrã de todos os detalhes da execução da atividade carregados.

  6. Use o Filtro para filtrar pelo estado da atividade, ou opções de Coluna para alterar quais as colunas que aparecem na vista de monitorização.

    Captura de ecrã das opções de filtro de execução de atividade.

    Captura de ecrã das opções de coluna.

    Você também pode pesquisar um nome de atividade, tipo de atividade ou ID de execução de atividade com a caixa Filtrar por palavra-chave .

    Captura de ecrã da caixa de filtro de palavras-chave.

    Captura de ecrã dos resultados da filtragem de palavras-chave.

  7. Para exportar os seus dados de monitorização, selecione Exportar para CSV.

    Captura de tela da opção de exportação para csv.

  8. Para obter mais informações sobre a sua pipeline, execute Entrada e Saída, selecione as ligações de entrada ou saída à direita da linha relevante em Atividades executadas.

  9. Selecione Atualizar pipeline para fazer alterações ao pipeline a partir deste ecrã. Esta ação leva-o de volta à área do pipeline.

  10. Selecione Rerun para executar novamente o seu pipeline. Escolha entre reexecutar todo o pipeline ou reexecutar apenas a partir da atividade que falhou.

    Captura de ecrã a mostrar a repetição da atividade falhada.

  11. Para ver detalhes de desempenho, selecione uma atividade da lista de execuções de atividade. O painel de detalhes do desempenho é aberto.

    Captura da tela de cópia dos detalhes dos dados.

    Encontre mais detalhes em Divisão de Duração e Avançado.

    Captura de ecrã com detalhes adicionais para a execução da cópia de dados.

Visualização de Gantt

A vista Gantt oferece uma forma clara e visual de acompanhar as corridas do oleoduto ao longo do tempo. Cada percurso aparece como uma barra, agrupada pelo nome do oleoduto, e o comprimento da barra indica quanto tempo durou a corrida. Utilize esta vista para detetar padrões, comparar durações e identificar atrasos, sobreposições ou anomalias num relance.

Captura de ecrã que mostra como alternar entre vistas.

O comprimento da barra representa a duração da passagem do oleoduto. Você pode selecionar a barra para ver mais detalhes.

Captura de ecrã da vista de Gantt a mostrar diferentes comprimentos de barra.

Captura de tela dos detalhes de execução do pipeline na visualização de Gantt.

Monitorização de ambientes de trabalho para pipelines

A monitorização do espaço de trabalho oferece visibilidade ao nível dos registos para todos os itens de um espaço de trabalho, incluindo pipelines.

  1. Para ativar a monitorização do espaço de trabalho, vá às definições do espaço de trabalho no seu espaço de trabalho Fabric e selecione Monitorização.

  2. Adicione um arquivo de eventos de monitorização e ative Registar a atividade da área de trabalho. O Fabric cria uma base de dados em Kusto Query Language (KQL) no Eventhouse do seu espaço de trabalho para armazenar os registos.

    Captura de tela de como ativar o monitoramento do espaço de trabalho.

  3. Vá para a base de dados KQL que o Fabric criou. Pode encontrá-lo através do link da base de dados de monitorização nas definições de monitorização, ou diretamente no seu espaço de trabalho.

    Captura de tela de itens gerados a partir do monitoramento do espaço de trabalho.

  4. Dentro da base de dados KQL, a tabela ItemJobEventLogs captura eventos ao nível do pipeline que ocorrem no seu espaço de trabalho (também chamado de monitorização L1). Os logs incluem nome do pipeline, estado de execução, carimbos temporais e diagnósticos do sistema.

    Captura de ecrã da tabela de monitorização do espaço de trabalho do pipeline.

Utilize consultas em KQL no eventhouse de monitorização para analisar:

  • Tendências de sucesso e fracasso
  • Métricas de desempenho
  • Detalhes do erro para solução de problemas

Monitorar a utilização da capacidade

Os administradores de capacidade do Fabric podem usar a aplicação Microsoft Fabric Capacity Metrics para visualizar recursos de capacidade. Esta aplicação mostra quanta utilização da CPU, tempo de processamento e memória os pipelines, fluxos de dados e outros itens consomem nos espaços de trabalho com capacidade atribuída. Use-o para identificar causas de sobrecarga, momentos de pico de procura e os itens que consomem mais recursos.

Conteúdo relacionado

  • Last updated on