Spark SQL-reference til materialiserede søvisninger

Denne artikel giver Spark SQL-syntaksen til oprettelse, liste, omdøbning og sletning af materialiserede lake-visninger i Fabric.

Oprette en materialiseret søvisning

Du kan definere en materialiseret søvisning fra en hvilken som helst tabel eller fra en anden materialiseret søvisning i et søhus.

Syntaks

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)]
[(
    REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Argumenter

Eksempler

Følgende eksempel skaber en materialiseret lake-visning med en datakvalitetsbegrænsning, en kommentar og partitionering. Klausulen OR REPLACE overskriver enhver eksisterende visning med samme navn.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

Følgende eksempel skaber et enklere materialiseret søbillede. Klausulen IF NOT EXISTS forhindrer fejl, hvis visningen allerede eksisterer, hvilket gør den sikker for deployment-scripts.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Indtast filer med USING OneLake_Files

Ud over at definere en materialiseret lake-visning fra tabeller, kan du også definere en, der indlæser CSV- eller Parquet-filer direkte fra OneLake. En filindlæsningsvisning bruges USING OneLake_Files sammen med en fysisk OneLake-mappe, en OneLake-mappegenvej eller en enkeltfilsti. Du kan valgfrit bruge en FROM-less-klausul AS SELECT til at filtrere, forme og aggregere kilden, efterhånden som den indlæses.

Følgende tabel viser, hvilken syntaks der gælder for hver forfatterstil:

Syntaks

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
    CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
    'format' = 'csv' | 'parquet',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
    ['header' = 'true' | 'false',]
    ['delimiter' = '<char>',]
    [...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC' | 'FIXED',
    'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
    [GROUP BY expression [, ...]] [HAVING condition]]

OPTIONS-reference

TBLPROPERTIES-reference

Eksempel

Følgende eksempel indlæser en mappe med CSV-filer med en header-række til en bronzevisning. Hver række får også en __filepath__ kolonne, der registrerer kildefilen, den blev læst fra.

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'APPEND_ONLY'
);

Du kan derefter bygge nedstrøms sølv- og guldmaterialiserede søudsigter, der vælger fra bronze.raw_orders; Fabric registrerer afhængigheden og opdaterer dem i rækkefølge. For at spore filer gennem pipelinen, se Manage Fabric materialized lake views lineage.

Filtrer, transformer og valider filer under indlæsning

Brug en FROM-less AS SELECT til at vælge kolonner, filtrere rækker, kaste værdier, tilføje beregnede kolonner, aggregere data eller anvende vinduesfunktioner. Fil-indlæsningsbegrænsninger kører mod det projicerede output, så en begrænsning kan referere til et beregnet alias.

Følgende eksempel fanger fejldannede rækker, anvender en række-niveau datakvalitetsregel, filtrerer inputtet og opdeler det materialiserede output:

CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
    CONSTRAINT positive_amount
        CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true',
    'multiLine' = 'true',
    'dateFormat' = 'MM/dd/yyyy',
    'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
    'encoding' = 'ISO-8859-1',
    'comment' = '#',
    'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
    'schema_mode' = 'DYNAMIC',
    'refresh_mode' = 'FULL'
)
AS SELECT
    order_id,
    region,
    CAST(amount AS DECIMAL(18,2)) AS order_amount,
    CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
    _corrupt_record,
    __filepath__,
    current_timestamp() AS ingested_at;

Forespørg indfangede rækker til inspektion eller udbedring:

SELECT
    _corrupt_record,
    __filepath__,
    ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;

Du kan også skabe aggregerede eller vinduesbaserede materialiserede resultater direkte fra filer:

CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
    region,
    COUNT(*) AS order_count,
    SUM(amount) AS total_amount,
    AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;

Understøttede udtryk inkluderer standard Spark SQL aritmetik, aggregerede, statistiske, vindues- og rangordningsfunktioner.

Indtag en enkelt fil

Sæt path til en CSV- eller Parquet-fil i stedet for en mappe. En enkeltfil-kilde bruger FULL refresh-semantik, så udskiftning af filen erstatter det materialiserede resultat.

CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
    'schema_mode' = 'FIXED',
    'refresh_mode' = 'FULL'
);

Få en liste over materialiserede søudsigter

For at få listen over alle materialiserede søudsigter i et skema, brug følgende syntaks:

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

For eksempel for at liste alle materialiserede søudsigter i skemaet silver :

SHOW MATERIALIZED LAKE VIEWS IN silver;

Hente den sætning, der oprettede en materialiseret søvisning

For at få udsagnet CREATE for en materialiseret lake-visning, brug følgende syntaks:

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

For eksempel, for at hente definitionen af products_with_sales:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Opdater en materialiseret søvisning

For at ændre definitionen af en materialiseret søvisning (såsom SELECT forespørgslen, begrænsninger eller partitionering), brug kommandoen CREATE OR RESTORE. Alternativt kan du slette den eksisterende visning og genskabe den.

Omdøb en materialiseret søudsigt

For at omdøbe et eksisterende materialiseret søsyn, brug kommandoen ALTER MATERIALIZED LAKE VIEW . Syntaksen er:

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

For eksempel at omdøbe products_with_sales:

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Slet et materialiseret sø-view

Du kan slette en materialiseret søvisning ved at bruge Slet-muligheden i lakehouse-objektstifinderen eller ved at køre en DROP kommando. Syntaksen er:

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

For eksempel for at slette products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Aktuelle begrænsninger

Følgende begrænsninger gælder for Spark SQL-sætningerne for materialiserede søvisninger:

• Skemanavne — Skemanavne med store bogstaver (for eksempel MYSCHEMA) understøttes ikke. Brug blandede bogstaver eller små bogstaver.
• Ingen data manipulation language (DML) udsagn — Du kan ikke køre INSERT, UPDATE, eller DELETE udsagn mod en materialiseret lake view. Data udfyldes kun af forespørgslen SELECT i definitionen.
• Ingen tidsrejseforespørgsler — Forespørgslen SELECT i en materialiseret lake view-definition kan ikke bruge Delta Lake tidsrejsesyntaks (for eksempel, VERSION AS OF eller TIMESTAMP AS OF).
• Ingen brugerdefinerede funktioner — Brugerdefinerede funktioner (UDF'er) understøttes ikke i forespørgslen, SELECT der definerer en materialiseret lake-visning.
• Ingen midlertidige visninger som kilder — Forespørgslen SELECT kan referere til tabeller og andre materialiserede søudsigter, men ikke midlertidige visninger.
• Sessionsniveau Spark-egenskaber — Spark-konfigurationsegenskaber sat på sessionsniveau (for eksempel spark.conf.set(...)) anvendes ikke under en planlagt opdatering. Sæt ejendomme på søhus- eller arbejdsområdeniveau i stedet.
• Filindlæsning — Filindlæsningsvisninger understøtter kun CSV og Parquet. En FIXED-schema-visning fejler, hvis kildemappen indeholder filer med forskellige skemaer ved oprettelse. Kildestier kan ikke indeholde mellemrum. OneLake-mappegenveje understøttes som kilder, men managed refresh opdager ikke rekursivt filer, der er tilføjet under indlejrede genvejsmapper.

Relateret indhold

• Hvad er materialiserede søudsigter i Microsoft Fabric?
• Datakvalitet i materialiserede lakevisninger
• Optimal opdatering for materialiserede søudsigter