Referencia de Spark SQL para vistas de lago materializadas

Este artículo proporciona la sintaxis SQL de Spark para crear, listar, renombrar y eliminar vistas materializadas de lagos en Fabric.

Creación de una vista de lago materializada

Puede definir una vista materializada del lago desde cualquier tabla o desde otra vista materializada del lago dentro de una casa de lago.

Sintaxis

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)] 
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Arguments

Examples

En el ejemplo siguiente se crea una vista de lago materializada con una restricción de calidad de datos, un comentario y una creación de particiones. La OR REPLACE cláusula sobrescribe cualquier vista existente con el mismo nombre.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

En el ejemplo siguiente se crea una vista de lago materializada más sencilla. La IF NOT EXISTS cláusula impide un error si la vista ya existe, lo que hace que sea seguro para los scripts de implementación.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Obtener una lista de vistas materializadas del lago

Para obtener la lista de todas las vistas de lago materializadas en un esquema, use la sintaxis siguiente:

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

Por ejemplo, para enumerar todas las vistas materializadas del lago en el silver esquema:

SHOW MATERIALIZED LAKE VIEWS IN silver;

Recuperar la instrucción que creó una vista de lago materializada

Para obtener la CREATE instrucción de una vista de lago materializada, use la siguiente sintaxis:

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

Por ejemplo, para recuperar la definición de products_with_sales:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Actualizar una vista materializada de lago

Para modificar la definición de una vista de lago materializada (como la SELECT consulta, las restricciones o la creación de particiones), use el comando CREATE OR REPLACE . Como alternativa, puede eliminar la vista existente y volver a crearla.

Cambiar el nombre de una vista materializada de lago

Para cambiar el nombre de una vista de lago materializada existente, use el ALTER MATERIALIZED LAKE VIEW comando . La sintaxis es:

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

Por ejemplo, para renombrar products_with_sales:

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Eliminar una vista materializada de un lago

Puede eliminar una vista de lago materializada mediante la opción Eliminar en el explorador de objetos lakehouse o ejecutando un DROP comando . La sintaxis es:

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

Por ejemplo, para eliminar products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Limitaciones actuales

Las siguientes limitaciones se aplican a las instrucciones de Spark SQL para vistas materializadas del lago:

• Nombres de esquema : no se admiten nombres de esquema en mayúsculas (por ejemplo, MYSCHEMA). Utiliza mayúsculas y minúsculas combinadas.
• No hay instrucciones de lenguaje de manipulación de datos (DML): no se pueden ejecutar INSERT, UPDATE o DELETE en una vista materializada en un lago de datos. Solo los datos se rellenan por la consulta SELECT en la definición.
• Sin consultas de viaje de tiempo: la SELECT consulta en una definición de vista de lago materializada no puede usar la sintaxis de viaje en tiempo de Delta Lake (por ejemplo, VERSION AS OF o ).TIMESTAMP AS OF
• Ninguna función definida por el usuario : las funciones definidas por el usuario (UDF) no se admiten en la SELECT consulta que define una vista de lago materializada.
• No hay vistas temporales como fuentes — la SELECT consulta puede hacer referencia a tablas y otras vistas de lago materializadas, pero no vistas temporales.
• Propiedades de Spark de nivel de sesión: las propiedades de configuración de Spark establecidas en el nivel de sesión (por ejemplo, spark.conf.set(...)) no se aplican durante una actualización programada. Establezca las propiedades en el nivel de lago o área de trabajo en su lugar.

Contenido relacionado

• ¿Qué son las vistas materializadas al lago en Fabric?
• Calidad de los datos en vistas materializadas del lago
• Actualización óptima para las vistas materializadas del lago