Supervisión de canalizaciones

Supervise las canalizaciones de Lakeflow mediante la interfaz de usuario de canalización integrada, el registro de eventos, el historial de consultas y los enlaces de eventos personalizados. Estas características realizan un seguimiento del progreso de la actualización, la calidad de los datos, el linaje y las métricas de streaming.

La monitorización de pipelines funciona en tres capas, desde un vistazo rápido hasta consultas programáticas profundas:

  • La lista de Empleos y Pipelines es la comprobación más rápida. Muestra el resultado de las últimas cinco ejecuciones como indicadores de estado junto a cada pipeline, para que puedas saber de un vistazo si las ejecuciones recientes se han completado correctamente, han fallado o siguen en ejecución.
  • La interfaz de monitorización de la tubería muestra el gráfico de la tubería codificado por colores según el estado, el recuento de filas por tabla y métricas de calidad de datos, el historial de actualizaciones y las métricas de backlog de streaming para la actualización seleccionada. Consulte Supervisar canalizaciones en la interfaz de usuario.
  • El registro de eventos es la verdad fundamental debajo de ambos. Es una tabla Delta estructurada que consultas para cualquier cosa programática o histórica, como resultados de actualizaciones, tendencias de calidad de datos y uso de recursos. Consulte Registro de eventos de canalización.
  • La pipeline_events tabla del sistema (Beta) agrega eventos de todas las canalizaciones de todos los espacios de trabajo de una región, para que puedas seguir la salud y tendencias de toda la flota con SQL. Consulte Supervisar y consultar eventos.

Para alertar sobre eventos de la canalización, configura notificaciones. Configure las notificaciones directamente en una canalización cuando se ejecuta según su propia programación o como notificaciones de trabajo cuando se ejecuta dentro de un trabajo de Lakeflow. Consulte Agregar notificaciones por correo electrónico para eventos de canalización.

Tema Description
Supervisión mediante la interfaz de usuario Observe el progreso y el estado de las actualizaciones de la canalización y alerte sobre el éxito o error. Vea las métricas de orígenes de streaming, como Apache Kafka y Auto Loader.
Monitorizar y consultar eventos (Beta) Supervisa el estado de todas las canalizaciones en todos los espacios de trabajo de una región con la tabla del sistema de eventos de las canalizaciones.
Registro de eventos Extraiga información detallada sobre las actualizaciones de canalización, como el linaje de datos, las métricas de calidad de datos y el uso de recursos mediante el registro de eventos de canalización.
Además, consulte el esquema del registro de eventos.
Historial de consultas Inspeccione y diagnostique el rendimiento de las consultas examinando el historial de consultas.
Supervisión personalizada Defina acciones personalizadas para realizar cuando se produzcan eventos específicos mediante enlaces de eventos.

Además, hay temas de solución de problemas para escenarios específicos.

Tema Description
Recuperar un pipeline tras un fallo en un punto de control de streaming Recupere una canalización que tenga un punto de control de transmisión no válido o dañado.
Corrección de tiempos de inicialización elevados en canalizaciones Corrija los tiempos de inicialización elevados para una canalización dividiendo y equilibrando la carga de los flujos entre canalizaciones.
  • Se actualizó por última vez el