Référence Spark SQL pour les vues de lac matérialisées

Cet article fournit la syntaxe SQL de Spark pour créer, lister, renommer et supprimer des vues matérialisées des lacs dans Fabric.

Créer une vue matérialisée du lac

Vous pouvez définir une vue matérialisée de lac à partir de n’importe quelle table ou d’une autre vue matérialisée au sein d’un lakehouse.

Syntaxe

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)]
[(
    REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Arguments

Examples

L’exemple suivant crée une vue de lac matérialisée avec une contrainte de qualité des données, un commentaire et un partitionnement. La OR REPLACE clause remplace toute vue existante portant le même nom.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

L’exemple suivant crée une vue matérialisée de lac plus simple. La IF NOT EXISTS clause empêche une erreur si la vue existe déjà, ce qui le rend sûr pour les scripts de déploiement.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Ingérer les fichiers avec USING OneLake_Files

En plus de définir une vue de lac matérialisée à partir de tables, vous pouvez en définir une qui intègre directement des fichiers CSV ou Parquet depuis OneLake. Une vue d’ingestion de fichiers utilise USING OneLake_Files pour un dossier OneLake physique, un raccourci de dossier OneLake ou un chemin vers un fichier unique. Vous pouvez facultativement utiliser une clause AS SELECT sans FROM pour filtrer, mettre en forme et agréger la source lors de son ingestion.

Le tableau suivant montre quelle syntaxe s’applique à chaque style d’auteur :

Syntaxe

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
    CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
    'format' = 'csv' | 'parquet',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
    ['header' = 'true' | 'false',]
    ['delimiter' = '<char>',]
    [...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC' | 'FIXED',
    'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
    [GROUP BY expression [, ...]] [HAVING condition]]

Référence OPTIONS

Référence TBLPROPERTIES

Example

L’exemple suivant intègre un dossier de fichiers CSV avec une ligne d’en-tête dans une vue bronze. Chaque ligne reçoit également une __filepath__ colonne qui enregistre le fichier source dont elle a été lue.

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'APPEND_ONLY'
);

Vous pouvez ensuite construire des vues lacustres matérialisées en argent et or en aval qui sélectionnent parmi bronze.raw_orders; Fabric enregistre la dépendance et les rafraîchit dans l’ordre. Pour suivre les fichiers tout au long du pipeline, voir Gérer la traçabilité des vues de lac matérialisées dans Fabric.

Filtrez, transformez et validez les fichiers lors de l’ingestion

Utilisez un FROM-less AS SELECT pour sélectionner les colonnes, filtrer les lignes, distribuer des valeurs, ajouter des colonnes calculées, agréger des données ou appliquer des fonctions de fenêtre. Les contraintes d’ingestion de fichiers s’exécutent sur la sortie projetée, de sorte qu’une contrainte peut référencer un alias calculé.

L’exemple suivant capture les lignes malformées, applique une règle de qualité des données au niveau des lignes, filtre l’entrée et partitionne la sortie matérialisée :

CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
    CONSTRAINT positive_amount
        CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true',
    'multiLine' = 'true',
    'dateFormat' = 'MM/dd/yyyy',
    'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
    'encoding' = 'ISO-8859-1',
    'comment' = '#',
    'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
    'schema_mode' = 'DYNAMIC',
    'refresh_mode' = 'FULL'
)
AS SELECT
    order_id,
    region,
    CAST(amount AS DECIMAL(18,2)) AS order_amount,
    CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
    _corrupt_record,
    __filepath__,
    current_timestamp() AS ingested_at;

Consultez les lignes capturées à des fins d’inspection ou de correction :

SELECT
    _corrupt_record,
    __filepath__,
    ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;

Vous pouvez également créer directement à partir de fichiers des résultats matérialisés agrégés ou par fenêtre :

CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
    region,
    COUNT(*) AS order_count,
    SUM(amount) AS total_amount,
    AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;

Les expressions prises en charge incluent l’arithmétique SQL standard de Spark, les fonctions d’agrégat, statistiques, fenêtres et de classement.

Ingérer un seul fichier

Définissez path sur un fichier au format CSV ou Parquet au lieu d’un dossier. Une source constituée d’un seul fichier utilise la sémantique d’actualisation FULL, de sorte que le remplacement du fichier remplace le résultat matérialisé.

CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
    'schema_mode' = 'FIXED',
    'refresh_mode' = 'FULL'
);

Obtenir la liste des vues matérialisées du lac

Pour obtenir la liste de toutes les vues de lac matérialisées dans un schéma, utilisez la syntaxe suivante :

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

Par exemple, pour répertorier toutes les vues matérialisées du lac dans le silver schéma :

SHOW MATERIALIZED LAKE VIEWS IN silver;

Récupérer l’instruction qui a créé une vue matérialisée du lac

Pour obtenir l’instruction CREATE d’une vue matérialisée de lac, utilisez la syntaxe suivante :

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

Par exemple, pour récupérer la définition de products_with_sales:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Mettre à jour une vue matérialisée du lac

Pour modifier la définition d’une vue matérialisée de lake (par exemple, la requête SELECT, les contraintes ou le partitionnement), utilisez la commande CREATE OR REPLACE. Vous pouvez également supprimer l’affichage existant et le recréer.

Renommer une vue de lac matérialisée

Pour renommer une vue de lac matérialisée existante, utilisez la ALTER MATERIALIZED LAKE VIEW commande. La syntaxe est la suivante :

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

Par exemple, pour renommer products_with_sales:

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Supprimer une vue matérialisée du lac

Vous pouvez supprimer une vue matérialisée du lac à l’aide de l’option Supprimer dans l’Explorateur d’objets lakehouse ou en exécutant une DROP commande. La syntaxe est la suivante :

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

Par exemple, pour supprimer products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Limitations actuelles

Les limitations suivantes s’appliquent aux instructions Spark SQL pour les vues de lac matérialisées :

• Noms de schémas — les noms de schémas intégralement en majuscule (par exemple, MYSCHEMA) ne sont pas pris en charge. Utilisez la casse mixte ou les minuscules.
• Aucune instruction DML (Data Manipulation Language) : vous ne pouvez pas exécuter, INSERTou UPDATE des DELETEinstructions sur une vue matérialisée du lac. Les données sont renseignées uniquement par la SELECT requête dans la définition.
• Aucune requête de voyage temporel : la requête dans la définition d'une vue matérialisée dans un lac Delta ne peut pas utiliser la syntaxe de time travel de Delta Lake (par exemple, SELECT ou ).
• Aucune fonction définie par l’utilisateur : les fonctions définies par l’utilisateur ne sont pas prises en charge dans la SELECT requête qui définit une vue matérialisée du lac.
• Pas de vues temporaires en tant que sources : la SELECT requête peut référencer des tables et d’autres vues matérialisées de lac, mais pas des vues temporaires.
• Propriétés Spark au niveau de la session : les propriétés de configuration Spark définies au niveau de la session (par exemple) spark.conf.set(...)ne sont pas appliquées lors d’une actualisation planifiée. Définissez plutôt les propriétés au niveau du lakehouse ou de l’espace de travail.
• Ingestion de fichiers — Les vues d’ingestion prennent uniquement en charge les formats CSV et Parquet. Une FIXEDvue -schema échoue si le dossier source contient des fichiers avec différents schémas au moment de la création. Les chemins sources ne peuvent pas contenir d’espaces. Les raccourcis de dossiers OneLake sont pris en charge comme sources, mais le rafraîchissement géré ne détecte pas récursivement les fichiers ajoutés dans des dossiers de raccourcis imbriqués.

Contenu connexe

• Quelles sont les vues matérialisées du lac dans Microsoft Fabric ?
• Qualité des données dans les vues matérialisées du lac
• Actualisation optimale pour les vues matérialisées du lac