¿Qué son las vistas al lago materializadas en Microsoft Fabric?

En Microsoft Fabric, una vista materializada del lago se conserva y se actualiza automáticamente. Se define en Spark SQL o PySpark. Simplifica las transformaciones de casas lacustres en varias etapas —normalmente la arquitectura de bronce a plata y a medallón de oro— expresándolas como declaraciones declarativas en lugar de trabajos personalizados de Spark. Después de materializar un MLV, actúa como una mesa estándar de lakehouse en términos de almacenamiento, patrones de acceso y seguridad. Puede consultarlo a través de cualquier motor de Fabric con los mismos permisos y el mismo modelo de gobernanza. Fabric realiza un seguimiento de las dependencias entre MLV, organiza las actualizaciones en el orden correcto y aplica restricciones de calidad de datos en cada fase. Esta característica permite a los ingenieros de datos crear canalizaciones confiables y fáciles de mantener con menos código y sobrecarga operativa.

Cuándo usar vistas de lago materializadas

Las vistas al lago hechas realidad son una buena opción cuando tienes:

  • Agregaciones a las que se accede con frecuencia (totales de ventas diarias, métricas mensuales) donde los resultados precalculados mejoran el rendimiento en lugar de ejecutar consultas costosas repetidamente
  • Combinaciones complejas en varias tablas grandes que se consultan a menudo y necesitan resultados coherentes para todos los consumidores
  • Transformaciones de calidad de datos que necesita aplicar uniformemente, con reglas definidas mediante declaración en lugar de en código personalizado
  • Creación de informes de conjuntos de datos que combinan datos de varios orígenes y se benefician de la actualización automática cuando cambian los datos de origen
  • Arquitectura de Medallion en la que necesita transformaciones de bronce → plata → oro definidas en SQL

Las vistas materializadas del lago no son la opción adecuada para cada escenario. Tenga en cuenta alternativas cuando tenga:

  • Consultas a las que se accede de forma única o rara vez que no se benefician de los resultados predefinidos
  • Lógica no SQL, como la inferencia de ML, las llamadas a API o el procesamiento complejo en Python; use notebooks de Spark en su lugar.
  • Datos de transmisión de alta frecuencia que requieren actualizaciones en menos de un segundo: considere Real-Time Intelligence en su lugar.

Introducción a las vistas materializadas del lago

Para crear una vista materializada del lago en Fabric, consulta Empieza con vistas materializadas al lago. Para ver un tutorial completo que crea una arquitectura de medallón, consulte Tutorial: Creación de una arquitectura de medallón con vistas materializadas al lago.

¿Cómo funcionan las vistas al lago materializadas?

Las vistas de lago materializadas usan un enfoque declarativo: se escribe una consulta SQL para definir la transformación y Fabric controla la ejecución, el almacenamiento y la actualización. El resultado persiste como una tabla Delta en el lago, por lo que los consumidores de nivel inferior pueden consultarlo directamente sin volver a ejecutar la transformación.

El ciclo de vida de una vista materializada de lago sigue cuatro fases:

  • Crear: escriba una consulta SQL que defina la transformación. Fabric almacena la definición y materializa los resultados como una tabla Delta.
  • Actualizar: cuando cambian los datos de origen, Fabric determina la estrategia de actualización óptima: incremental (solo procesar datos nuevos o modificados), completos (recompilar completamente) o omitir (sin cambios detectados).
  • Consulta: Las aplicaciones e informes consultan la vista de lago materializada como cualquier otra tabla Delta, sin conciencia de la lógica de transformación subyacente.
  • Monitor: seguimiento del historial de actualizaciones, el estado de ejecución, las métricas de calidad de datos y el linaje de dependencias a través de herramientas de Fabric integradas.

Opciones de autoría

Las vistas de lago materializadas admiten dos enfoques de creación:

  • Creación en SQL: Defina vistas mediante sentencias SQL CREATE MATERIALIZED LAKE VIEW estándar directamente en el editor de lakehouse de Fabric.

  • Creación con PySpark (versión preliminar): Crear, actualizar y reemplazar vistas desde cuadernos de Fabric mediante DataFrameWriter. Compatibilidad con vistas creadas por PySpark:

    • Restricciones de calidad de datos
    • Propiedades de tabla
    • Actualizaciones programadas

    Nota:

    Las vistas creadas por PySpark solo realizan actualmente una actualización completa.

Funcionalidades clave

Las vistas de lago materializadas incluyen características integradas que controlan la complejidad operativa que, de lo contrario, administraría usted mismo en cuadernos y canalizaciones.

Optimización de refresco automático

Fabric determina automáticamente cuándo y cómo actualizar las vistas materializadas del lago. Un motor de decisión selecciona la estrategia de actualización más eficaz y detecta los cambios de datos de origen de forma predeterminada a través de la fuente de distribución de datos modificados:

  • Actualización incremental: solo procesa datos nuevos o modificados.
  • Actualización total: reconstruye toda la vista de lago materializada cuando sea necesario.
  • Omitir actualización: Fabric omite la actualización cuando los datos de origen no contienen cambios.

Para habilitar la actualización incremental, debe habilitar la fuente de datos de cambios (CDF) de Delta en las tablas de origen a las que hace referencia la vista materializada de lago. Sin CDF habilitado, el motor de decisión elige entre omitir solo la actualización y la actualización completa. Para obtener más información, consulte Actualización óptima de las vistas de lago materializadas en un lakehouse.

La actualización óptima admite una variedad de patrones de consulta comunes, entre los que se incluyen:

  • Agregaciones con GROUP BY
  • Combinaciones externas y semi izquierdas
  • Expresiones de tabla comunes (CTE)

Calidad de datos integrada

Las vistas materializadas del lago soportan reglas declarativas de calidad de datos. Defina restricciones directamente en SQL y especifique cómo controlar las infracciones.

CONSTRAINT valid_sales CHECK (sales_amount > 0) ON MISMATCH DROP

Administración de dependencias

Cuando las vistas materializadas del lago hacen referencia a otras vistas materializadas del lago o a tablas, Fabric detecta automáticamente esas relaciones y gestiona el orden de ejecución.

  • Visualiza cómo las vistas materializadas de lago dependen entre sí a través de distintos lakehouses.
  • El orden se actualiza automáticamente en función de las dependencias.
  • El procesamiento sigue la cadena de dependencias para garantizar la coherencia de los datos.

Supervisión e información

Fabric proporciona herramientas integradas para realizar un seguimiento del estado y el rendimiento de las vistas materializadas del lago:

  • Realice un seguimiento del rendimiento de actualización y del estado de ejecución de cada vista materializada del lago.
  • Vea las métricas de calidad de los datos y los recuentos de infracciones en el linaje.
  • Supervise las instancias de trabajo y el historial de actualizaciones en la vista Ejecuciones recientes .

Más allá del Monitor hub de ejecución en ejecución, Fabric ahora muestra el estado operativo de cada lakehouse en la propia página Ejecuciones recientes, mediante subpestañas paralelas para Analytics e Insights:

Subpestaña Responde a la pregunta Página de aprendizaje
Ejecuciones recientes ¿Qué ejecuciones individuales se produjeron y puedo cancelarlas o profundizar en los detalles? Ejecuciones recientes de vistas al lago materializadas
Análisis ¿Cómo evoluciona mi tasa de éxito, la duración, los principales errores y la mezcla de directivas de actualización en gráficos para las mismas ejecuciones? Visualización de análisis para ejecuciones de vistas de lago materializadas
Perspectivas ¿Qué está fallando o presenta regresiones, con enlaces directos con un solo clic a la vista con errores? Visualización de información para ejecuciones de vistas de lago materializadas

Para acceder mediante programación a los mismos datos, Fabric escribe las tablas del sistema bajo el esquema _mlv_system - sys_run_metrics, sys_node_metrics y sys_error_metrics - en el lakehouse.

Importante

No modifique el _mlv_system esquema. Los cambios afectan a las actualizaciones de las pestañas Análisis e Información .

Seguridad

Las vistas materializadas de lago de Fabric respetan las medidas de seguridad y gobernanza de las tablas de Lakehouse. También puede usar MLVs en lakehouses con Private Link habilitado. Para obtener más información sobre Private Link en Fabric, consulte Seguridad.

Contenido relacionado

  • Last updated on