Monitorar fluxos de trabalho

Monitorize os pipelines do Lakeflow através da interface de utilizador incorporada do pipeline, do registo de eventos, do histórico de consultas e de hooks de eventos personalizados. Estas funcionalidades acompanham o progresso das atualizações, qualidade dos dados, linhagem e métricas de streaming.

A monitorização de pipelines funciona em três camadas, desde um olhar rápido até consultas programáticas profundas:

  • A lista de Empregos e Pipelines é a verificação mais rápida. Apresenta o resultado das últimas cinco execuções como indicadores de estado junto de cada pipeline, para que possa ver imediatamente se as execuções recentes foram bem-sucedidas, falharam ou ainda estão em execução.
  • A interface de monitorização do pipeline mostra o gráfico do pipeline codificado por cores por estado, contagens de linhas por tabela e métricas de qualidade dos dados, histórico de atualizações e métricas de backlog de streaming para a atualização selecionada. Consulte Monitorizar pipelines na interface do utilizador.
  • O registo de eventos é a verdade fundamental por baixo de ambos. É uma tabela Delta estruturada que se consulta para qualquer coisa programática ou histórica, como resultados de atualizações, tendências de qualidade de dados e utilização de recursos. Consulte Log de eventos do pipeline.

Para alertar sobre eventos do pipeline, configure notificações. Defina notificações diretamente num pipeline quando este é executado de acordo com a sua própria agenda, ou como notificações da tarefa quando o pipeline é executado num Lakeflow Job. Ver Adicionar notificações por e-mail para eventos de pipeline.

Tópico Description
Monitorar usando a interface do usuário Observe o progresso e o status das atualizações de pipeline e notifique sobre sucesso ou falha. Veja métricas para fontes de streaming, como Apache Kafka e Auto Loader.
Registo de eventos Extraia informações detalhadas sobre atualizações de pipeline, como linhagem de dados, métricas de qualidade de dados e uso de recursos usando o log de eventos do pipeline.
Além disso, consulte o esquema para o log de eventos.
Histórico de consultas Inspecione e diagnostique o desempenho da consulta examinando o histórico de consultas.
Monitorização personalizada Defina ações personalizadas a serem executadas quando eventos específicos ocorrerem usando ganchos de eventos.

Além disso, há tópicos de solução de problemas para cenários específicos.

Tópico Description
Recuperar um pipeline de uma falha no ponto de verificação de streaming Recupere um pipeline que tenha um ponto de verificação de streaming inválido ou corrompido.
Corrigir tempos de inicialização elevados em pipelines Corrija altos tempos de inicialização para um pipeline dividindo e balanceando a carga de fluxos entre pipelines.
  • Last updated on