Referencia de Spark SQL para vistas de lago materializadas

Este artículo proporciona la sintaxis SQL de Spark para crear, listar, renombrar y eliminar vistas materializadas de lagos en Fabric.

Creación de una vista de lago materializada

Puede definir una vista materializada del lago desde cualquier tabla o desde otra vista materializada del lago dentro de una casa de lago.

Sintaxis

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)]
[(
    REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Arguments

Examples

En el ejemplo siguiente se crea una vista de lago materializada con una restricción de calidad de datos, un comentario y una creación de particiones. La OR REPLACE cláusula sobrescribe cualquier vista existente con el mismo nombre.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

En el ejemplo siguiente se crea una vista de lago materializada más sencilla. La IF NOT EXISTS cláusula impide un error si la vista ya existe, lo que hace que sea seguro para los scripts de implementación.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Importa archivos con USING OneLake_Files

Además de definir una vista materializada de lago a partir de tablas, puedes definir una que ingiera archivos CSV o Parquet directamente desde OneLake. Una vista de incorporación de archivos usa USING OneLake_Files con una carpeta física de OneLake, un acceso directo a una carpeta de OneLake o una ruta a un único archivo. Puede usar opcionalmente una cláusula FROM-less AS SELECT para filtrar, dar forma a los datos de origen y agregarlos a medida que se ingieren.

La siguiente tabla muestra qué sintaxis se aplica a cada estilo de autoría:

Sintaxis

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
    CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
    'format' = 'csv' | 'parquet',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
    ['header' = 'true' | 'false',]
    ['delimiter' = '<char>',]
    [...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC' | 'FIXED',
    'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
    [GROUP BY expression [, ...]] [HAVING condition]]

Referencia de OPTIONS

Referencia de TBLPROPERTIES

Example

El siguiente ejemplo carga una carpeta de archivos CSV con una fila de encabezado en una vista bronce. Cada fila también recibe una __filepath__ columna que registra el archivo fuente del que fue leído.

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'APPEND_ONLY'
);

Luego puedes construir vistas de lagos materializadas de plata y oro aguas abajo que seleccionan entre bronze.raw_orders; Fabric registra la dependencia y las refresca en orden. Para rastrear archivos en toda la canalización, consulta Administrar el linaje de las vistas materializadas de lago de Fabric.

Filtrar, transformar y validar archivos durante la ingesta

Utiliza un AS SELECT sin FROM para seleccionar columnas, filtrar filas, convertir valores, añadir columnas calculadas, realizar agregaciones o aplicar funciones de ventana. Las restricciones de ingestión de archivos se ejecutan contra la salida proyectada, por lo que una restricción puede referenciar un alias calculado.

El siguiente ejemplo captura filas malformadas, aplica una regla de calidad de datos a nivel de fila, filtra la entrada y particiona la salida materializada:

CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
    CONSTRAINT positive_amount
        CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true',
    'multiLine' = 'true',
    'dateFormat' = 'MM/dd/yyyy',
    'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
    'encoding' = 'ISO-8859-1',
    'comment' = '#',
    'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
    'schema_mode' = 'DYNAMIC',
    'refresh_mode' = 'FULL'
)
AS SELECT
    order_id,
    region,
    CAST(amount AS DECIMAL(18,2)) AS order_amount,
    CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
    _corrupt_record,
    __filepath__,
    current_timestamp() AS ingested_at;

Consultar las filas capturadas para inspección o remediación:

SELECT
    _corrupt_record,
    __filepath__,
    ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;

También puedes crear resultados agregados o materializados en ventanas directamente a partir de archivos:

CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
    region,
    COUNT(*) AS order_count,
    SUM(amount) AS total_amount,
    AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;

Las expresiones soportadas incluyen aritmética estándar SQL de Spark, funciones agregadas, estadísticas, de ventana y de clasificación.

Importar un solo archivo

Configure path en un archivo CSV o Parquet en lugar de una carpeta. Un origen de datos de un solo archivo usa la semántica de actualización FULL, por lo que, al sustituir el archivo, se sustituye el resultado materializado.

CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
    'schema_mode' = 'FIXED',
    'refresh_mode' = 'FULL'
);

Obtener una lista de vistas materializadas del lago

Para obtener la lista de todas las vistas de lago materializadas en un esquema, use la sintaxis siguiente:

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

Por ejemplo, para enumerar todas las vistas materializadas del lago en el silver esquema:

SHOW MATERIALIZED LAKE VIEWS IN silver;

Recuperar la instrucción que creó una vista de lago materializada

Para obtener la CREATE instrucción de una vista de lago materializada, use la siguiente sintaxis:

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

Por ejemplo, para recuperar la definición de products_with_sales:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Actualizar una vista materializada de lago

Para modificar la definición de una vista de lago materializada (como la SELECT consulta, las restricciones o la creación de particiones), use el comando CREATE OR REPLACE . Como alternativa, puede eliminar la vista existente y volver a crearla.

Cambiar el nombre de una vista materializada de lago

Para cambiar el nombre de una vista de lago materializada existente, use el ALTER MATERIALIZED LAKE VIEW comando . La sintaxis es:

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

Por ejemplo, para renombrar products_with_sales:

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Eliminar una vista materializada de un lago

Puede eliminar una vista de lago materializada mediante la opción Eliminar en el explorador de objetos lakehouse o ejecutando un DROP comando . La sintaxis es:

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

Por ejemplo, para eliminar products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Limitaciones actuales

Las siguientes limitaciones se aplican a las instrucciones de Spark SQL para vistas materializadas del lago:

• Nombres de esquema : no se admiten nombres de esquema en mayúsculas (por ejemplo, MYSCHEMA). Utiliza mayúsculas y minúsculas combinadas.
• No hay instrucciones de lenguaje de manipulación de datos (DML): no se pueden ejecutar INSERT, UPDATE o DELETE en una vista materializada en un lago de datos. Solo los datos se rellenan por la consulta SELECT en la definición.
• Sin consultas de viaje de tiempo: la SELECT consulta en una definición de vista de lago materializada no puede usar la sintaxis de viaje en tiempo de Delta Lake (por ejemplo, VERSION AS OF o ).TIMESTAMP AS OF
• Ninguna función definida por el usuario : las funciones definidas por el usuario (UDF) no se admiten en la SELECT consulta que define una vista de lago materializada.
• No hay vistas temporales como fuentes — la SELECT consulta puede hacer referencia a tablas y otras vistas de lago materializadas, pero no vistas temporales.
• Propiedades de Spark de nivel de sesión: las propiedades de configuración de Spark establecidas en el nivel de sesión (por ejemplo, spark.conf.set(...)) no se aplican durante una actualización programada. Establezca las propiedades en el nivel de lago o área de trabajo en su lugar.
• Ingesta de archivos — Las vistas que ingieren archivos solo admiten CSV y Parquet. Una vista de esquema FIXED da error si la carpeta de origen contiene archivos con diferentes esquemas en el momento de su creación. Las rutas de origen no pueden contener espacios. Se admiten accesos directos de carpetas OneLake como fuentes, pero la actualización gestionada no detecta recursivamente archivos añadidos bajo carpetas de acceso directo anidadas.

Contenido relacionado

• ¿Qué son las vistas materializadas del lago en Microsoft Fabric?
• Calidad de los datos en vistas materializadas del lago
• Actualización óptima para las vistas materializadas del lago