Supervisión de canalizaciones

Supervise las canalizaciones de Lakeflow mediante la interfaz de usuario de canalización integrada, el registro de eventos, el historial de consultas y los enlaces de eventos personalizados. Estas características realizan un seguimiento del progreso de la actualización, la calidad de los datos, el linaje y las métricas de streaming.

La monitorización de pipelines funciona en tres capas, desde un vistazo rápido hasta consultas programáticas profundas:

• La lista de Empleos y Pipelines es la comprobación más rápida. Muestra el resultado de las últimas cinco ejecuciones como indicadores de estado junto a cada pipeline, para que puedas saber de un vistazo si las ejecuciones recientes se han completado correctamente, han fallado o siguen en ejecución.
• La interfaz de monitorización de la tubería muestra el gráfico de la tubería codificado por colores según el estado, el recuento de filas por tabla y métricas de calidad de datos, el historial de actualizaciones y las métricas de backlog de streaming para la actualización seleccionada. Consulte Supervisar canalizaciones en la interfaz de usuario.
• El registro de eventos es la verdad fundamental debajo de ambos. Es una tabla Delta estructurada que consultas para cualquier cosa programática o histórica, como resultados de actualizaciones, tendencias de calidad de datos y uso de recursos. Consulte Registro de eventos de canalización.

Para alertar sobre eventos de la canalización, configura notificaciones. Configure las notificaciones directamente en una canalización cuando se ejecuta según su propia programación o como notificaciones de trabajo cuando se ejecuta dentro de un trabajo de Lakeflow. Consulte Agregar notificaciones por correo electrónico para eventos de canalización.

Además, hay temas de solución de problemas para escenarios específicos.