Spark SQL-referanse for materialiserte innsjøvisninger

Denne artikkelen gir Spark SQL-syntaksen for å lage, liste, omdøpe og slette materialiserte lake-visninger i Fabric.

Opprette en materialisert innsjøvisning

Du kan definere en materialisert innsjøvisning fra en hvilken som helst tabell eller fra en annen materialisert innsjøvisning i et innsjøhus.

Syntaks

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)]
[(
    REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Argumenter

Eksempler

Følgende eksempel skaper en materialisert innsjøvisning med en datakvalitetsbegrensning, en kommentar og partisjonering. Klausulen OR REPLACE overskriver enhver eksisterende visning med samme navn.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

Følgende eksempel gir en enklere materialisert innsjøutsikt. Klausulen IF NOT EXISTS forhindrer en feil hvis visningen allerede eksisterer, noe som gjør den trygg for distribusjonsskript.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Importer filer med USING OneLake_Files

I tillegg til å definere en materialisert innsjøvisning fra tabeller, kan du definere en som importerer CSV- eller Parquet-filer direkte fra OneLake. En filinntaksvisning brukes USING OneLake_Files med en fysisk OneLake-mappe, en OneLake-mappesnarvei eller en enkeltfilsti. Du kan valgfritt bruke en FROM-less-klausul AS SELECT for å filtrere, forme og aggregere kilden etter hvert som den tas inn.

Tabellen nedenfor viser hvilken syntaks som gjelder for hver forfatterstil:

Syntaks

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
    CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
    'format' = 'csv' | 'parquet',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
    ['header' = 'true' | 'false',]
    ['delimiter' = '<char>',]
    [...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC' | 'FIXED',
    'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
    [GROUP BY expression [, ...]] [HAVING condition]]

OPSJONSREFERANSE

TBLPROPERTIES-referanse

Eksempel

Følgende eksempel importerer en mappe med CSV-filer med en header-rad inn i en bronsevisning. Hver rad får også en __filepath__ kolonne som registrerer kildefilen den ble lest fra.

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'APPEND_ONLY'
);

Du kan deretter bygge nedstrøms sølv- og gullmaterialiserte innsjøutsikter som velger fra bronze.raw_orders; Fabric registrerer avhengigheten og oppdaterer dem i rekkefølge. For å spore filer gjennom pipelinen, se Manage Fabric materialized lake views lineage.

Filtrer, transformer og valider filer under inntasting

Bruk en FROM-less AS SELECT for å velge kolonner, filtrere rader, kaste verdier, legge til beregnede kolonner, aggregere data eller anvende vindusfunksjoner. Filinntaksbegrensninger kjører mot den projiserte utdataen, slik at en begrensning kan referere til et beregnet alias.

Følgende eksempel fanger opp feildannede rader, anvender en radnivå-regel for datakvalitet, filtrerer inputen og deler opp den materialiserte outputen:

CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
    CONSTRAINT positive_amount
        CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true',
    'multiLine' = 'true',
    'dateFormat' = 'MM/dd/yyyy',
    'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
    'encoding' = 'ISO-8859-1',
    'comment' = '#',
    'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
    'schema_mode' = 'DYNAMIC',
    'refresh_mode' = 'FULL'
)
AS SELECT
    order_id,
    region,
    CAST(amount AS DECIMAL(18,2)) AS order_amount,
    CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
    _corrupt_record,
    __filepath__,
    current_timestamp() AS ingested_at;

Søk etter fangede rader for inspeksjon eller utbedring:

SELECT
    _corrupt_record,
    __filepath__,
    ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;

Du kan også lage aggregerte eller vindusbaserte materialiserte resultater direkte fra filer:

CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
    region,
    COUNT(*) AS order_count,
    SUM(amount) AS total_amount,
    AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;

Støttede uttrykk inkluderer standard Spark SQL aritmetikk, aggregerte, statistiske, vindus- og rangeringsfunksjoner.

Importer en enkelt fil

Sett path til en CSV- eller Parquet-fil i stedet for en mappe. En enkeltfilkilde bruker FULL oppdateringssemantikk, så å erstatte filen erstatter det materialiserte resultatet.

CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
    'schema_mode' = 'FIXED',
    'refresh_mode' = 'FULL'
);

Få en liste over materialiserte innsjøvisninger

For å få listen over alle materialiserte lake-visninger i et skjema, bruk følgende syntaks:

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

For eksempel, for å liste opp alle materialiserte innsjøutsikter i skjemaet silver :

SHOW MATERIALIZED LAKE VIEWS IN silver;

Hente setningen som opprettet en materialisert innsjøvisning

For å få CREATE utsagnet for en materialisert lake-visning, bruk følgende syntaks:

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

For eksempel, for å hente definisjonen av products_with_sales:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Oppdatere en materialisert utsikt over innsjøen

For å endre definisjonen av en materialisert innsjøvisning (som SELECT spørring, begrensninger eller partisjonering), bruk kommandoen CREATE OR RESTORE. Alternativt kan du slette den eksisterende visningen og lage den på nytt.

Gi nytt navn til en materialisert innsjøutsikt

For å gi nytt navn til en eksisterende materialisert innsjøutsikt, bruk kommandoen ALTER MATERIALIZED LAKE VIEW . Syntaksen er:

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

For eksempel, for å gi nytt navn:products_with_sales

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Slett en materialisert innsjøutsikt

Du kan slette en materialisert innsjøvisning ved å bruke Delete-alternativet i lakehouse-objektutforskeren eller ved å kjøre en DROP kommando. Syntaksen er:

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

For eksempel, for å slette products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Gjeldende begrensninger

Følgende begrensninger gjelder for Spark SQL-setningene for materialiserte innsjøutsikter:

• Skjemanavn — Skjemanavn med store bokstaver (for eksempel MYSCHEMA) støttes ikke. Bruk blandede eller små bokstaver.
• Ingen data manipulation language (DML)-setninger — Du kan ikke kjøre INSERT, UPDATE, eller DELETE setninger mot en materialisert lake-visning. Data fylles kun av SELECT spørringen i definisjonen.
• Ingen tidsreise-spørringer — Spørringen SELECT i en materialisert lake view-definisjon kan ikke bruke Delta Lake tidsreisesyntaks (for eksempel, VERSION AS OF eller TIMESTAMP AS OF).
• Ingen brukerdefinerte funksjoner — Brukerdefinerte funksjoner (UDF) støttes ikke i SELECT spørringen som definerer en materialisert innsjøvisning.
• Ingen midlertidige visninger som kilder — Spørringen SELECT kan referere tabeller og andre materialiserte innsjøvisninger, men ikke midlertidige visninger.
• Sesjonsnivå Spark-egenskaper — Spark-konfigurasjonsegenskaper satt på sesjonsnivå (for eksempel spark.conf.set(...)) brukes ikke under en planlagt oppdatering. Sett eiendommer på lakehouse- eller arbeidsområdenivå i stedet.
• Filinntak — Filinntastingsvisninger støtter kun CSV og Parquet. En FIXED-schema-visning feiler hvis kildemappen inneholder filer med forskjellige skjemaer ved opprettelse. Kildestier kan ikke inneholde mellomrom. OneLake-mappesnarveier støttes som kilder, men administrert oppdatering oppdager ikke rekursivt filer lagt til under nestede snarveismapper.

Beslektet innhold

• Hva er materialiserte innsjøutsikter i Microsoft Fabric?
• Datakvalitet i materialisert utsikt over innsjøen
• Optimal oppdatering for materialiserte innsjøutsikter