Spark SQL-referentie voor gematerialiseerde lake views

Dit artikel biedt de Spark SQL-syntaxis voor het aanmaken, vermelden, hernoemen en verwijderen van gematerialiseerde lake-weergaven in Fabric.

Aanbeveling

Zie Aan de slag met gerealiseerde lakeweergaven om uw eerste gerealiseerde meerweergave te maken.

Een gerealiseerde lakeweergave maken

U kunt een gematerialiseerde meerweergave definiëren vanuit elke tabel of vanuit een andere gematerialiseerde lakeweergave binnen een lakehouse.

Syntaxis

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)]
[(
    REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Opmerking

Arguments

Kenmerk Beschrijving
OR REPLACE Overschrijft elke bestaande gerealiseerde materiële lakeweergave met dezelfde naam. Kan niet worden gecombineerd met IF NOT EXISTS.
IF NOT EXISTS Maakt de materiële lakeweergave alleen als deze nog niet bestaat. De instructie slaagt zonder fouten als de weergave al is gedefinieerd. Kan niet worden gecombineerd met OR REPLACE.
MLV_Identifier Naam van het gerealiseerde uitzicht op het meer. Kan volledig worden gekwalificeerd als workspace.lakehouse.schema.name.
CONSTRAINT ... CHECK Definieert een regel voor gegevenskwaliteit. Met CHECK de component wordt een Boole-expressie opgegeven waaraan elke rij moet voldoen. U kunt meerdere beperkingen definiëren.
ON MISMATCH Actie die moet worden ondernomen wanneer een rij een beperking schendt. DROP verwijdert de rij ongemerkt; FAIL stopt de vernieuwing door een fout. De standaardinstelling is FAIL.
REFRESH_HINT Definieert één of meer kolommen die rijen uniek identificeren voor incrementele verwerking van updates en verwijderingen (preview).
PARTITIONED BY Kolommen voor het partitioneren van de gerealiseerde lakeweergave, waarmee de queryprestaties voor gefilterde leesbewerkingen kunnen worden verbeterd.
COMMENT Beschrijving van vrije tekst die is opgeslagen met de gerealiseerde definitie van lake view.
TBLPROPERTIES Sleutel-waardeparen die zijn opgeslagen als metagegevens in de gerealiseerde lakeweergave.
AS select_statement De SELECT query waarmee de gegevens in de gerealiseerde lakeweergave worden gedefinieerd.

Voorbeelden

In het volgende voorbeeld wordt een gematerialiseerde lake-weergave gemaakt met een gegevenskwaliteitsbeperking, een opmerking en partitionering. De OR REPLACE component overschrijft elke bestaande weergave met dezelfde naam.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

In het volgende voorbeeld wordt een eenvoudiger vorm van een materialized lakeview gemaakt. De IF NOT EXISTS component voorkomt een fout als de weergave al bestaat, waardoor deze veilig is voor implementatiescripts.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Aanbeveling

Gerealiseerde vernieuwing van lake view beheren vanuit uw lakehouse

Nadat u uw gematerialiseerde lake-weergaven hebt gemaakt, moet u het vernieuwen ervan niet vanuit een notebook orkestreren. Gebruik in plaats daarvan de twee ingebouwde mogelijkheden op het lakehouse:

  • Herkomst: Fabric leidt de afhankelijkheidsvolgorde van uw gematerialiseerde lakeweergaven af op basis van hun definities. Als u de afstammingsweergave wilt openen, selecteert u het tabblad Gematerialiseerde lake-weergaven op het lint en selecteert u vervolgens Beheren. Hier kunt u een uitvoering volgen en upstream- en downstreamafhankelijkheden voor elke weergave inspecteren.
  • Gepland vernieuwen: Vanuit dezelfde weergave Beheren maakt u een of meer schema’s om alle gematerialiseerde lake-weergaven of een geselecteerde subset te vernieuwen. Elk schema wordt onafhankelijk uitgevoerd en vernieuwt weergaven in afhankelijkheidsvolgorde, dus downstreamweergaven lezen altijd nieuwe gegevens uit hun upstreamweergaven. Fabric probeert tijdelijke fouten automatisch opnieuw.

Gebruik notebooks om uw definities van gematerialiseerde lake views op te stellen en iteratief te verbeteren. Laat gegevensafstamming en geplande vernieuwing zorgen voor de volgorde, uitvoering en nieuwe pogingen — voor betrouwbare, herhaalbare gegevens met minder code om te beheren.

Bestanden invoeren met USING OneLake_Files

Naast het definiëren van een gematerialiseerde lakeweergave op basis van tabellen, kun je ook een lakeweergave definiëren die CSV- of Parquet-bestanden rechtstreeks uit OneLake opneemt. Een weergave voor bestandsopname gebruikt USING OneLake_Files een fysieke OneLake-map, een OneLake-mapsnelkoppeling of een pad naar één bestand. Je kunt optioneel een FROM-less AS SELECT clausule gebruiken om de bron te filteren, vorm te geven en te aggregeren terwijl deze wordt opgenomen.

De volgende tabel toont welke syntaxis van toepassing is op elke authoringstijl:

Aspect Op een tabel gebaseerde gematerialiseerde datalakeweergave Op bestanden gebaseerde gematerialiseerde data lake-weergave
bron Tabellen of andere gematerialiseerde meergezichten Een fysieke OneLake-map, OneLake-mapsnelkoppeling of één enkel bestand
Definitie AS select_statement USING OneLake_Files + OPTIONS + optioneel zonder FROM AS SELECT
Formaten Elke doorzoekbare tabel CSV, Parket
Schema Afgeleid van de SELECT schema_mode = DYNAMIC of FIXED
Herkomst van de bron Upstream tabellen/weergaven Bronlocatie; projecteer optioneel de __filepath__ bronmetadatakolom wanneer je per-rij bestandstraceerbaarheid nodig hebt
Typische laag Zilver, goud Brons
Beperkingen op gegevenskwaliteit Supported Ondersteund bij inname

Syntaxis

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
    CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
    'format' = 'csv' | 'parquet',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
    ['header' = 'true' | 'false',]
    ['delimiter' = '<char>',]
    [...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC' | 'FIXED',
    'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
    [GROUP BY expression [, ...]] [HAVING condition]]

Opmerking

Specificeer geen FROM clausule in de bestandsinvoer.AS SELECT De bron is al gebonden door USING OneLake_Files en de path optie.

OPTIONS-referentie

Option Van toepassing op: Beschrijving
format CSV, Parket Indeling van het bronbestand. Ondersteunde waarden zijn csv en parquet.
path CSV, Parket Een fysieke OneLake-map, snelkoppeling naar een OneLake-map of ABFSS-pad naar één bestand. Bestanden die beschikbaar zijn in geneste submappen worden recursief ingevoerd wanneer de weergave wordt aangemaakt. Gebruik een schuine streep voor een map of voeg de bestandsextensie toe voor één enkel bestand.
header CSV Geeft aan of de eerste rij van elk bestand kolomnamen bevat. Wordt standaard ingesteld op false.
delimiter CSV Veldafscheidingsteken (bijvoorbeeld, , of |). Standaard ingesteld op een komma.
sep CSV Alias voor delimiter.
quote CSV Het teken dat wordt gebruikt voor het aanhalen van waarden.
escape CSV Karakter gebruikt om een quote te ontwijken binnen een reeds geciteerde waarde.
nullValue CSV Tekenreeks die een null-waarde vertegenwoordigt.
ignoreLeadingWhiteSpace CSV Of voorloopspaties bij waarden moeten worden verwijderd.
ignoreTrailingWhiteSpace CSV Of je trailing spaces uit waarden moet verwijderen.
multiLine CSV Of een geciteerde waarde meerdere lijnen kan beslaan. Wordt standaard ingesteld op false.
dateFormat CSV Het Java-datumpatroon wordt gebruikt om datumwaarden te analyseren, zoals MM/dd/yyyy.
timestampFormat CSV Java timestamp-patroon gebruikt om tijdstempelwaarden te analyseren.
encoding CSV Tekencodering, zoals UTF-8, UTF-16, Windows-1252 of ISO-8859-1.
comment CSV Een personage dat een regel markeert als een opmerking om over te slaan.
inferSchema CSV Of kolomtypen moeten worden afgeleid. Wanneer false, worden kolommen als strings gelezen. Gebruik FIXED schemamodus bij het uitschakelen van inferentie.
columnNameOfCorruptRecord CSV Naam van een stringkolom die de ruwe tekst ontvangt voor misvormde rijen. Geldige rijen bevatten NULL in deze kolom. Neem de kolom op in de AS SELECT output.

Important

Fabric beheert het hanteren van misvormde rijen. Stel de Spark CSV-optie mode niet in.

TBLPROPERTIES-referentie

Property Values Beschrijving
schema_mode DYNAMIC (standaard), FIXED DYNAMIC voegt nieuw ontdekte kolommen toe en schrijft NULL wanneer een bestand geen vastgestelde kolom bevat. FIXED zet het schema bij het aanmaken vast en verwerpt latere afwijkingen.
refresh_mode APPEND_ONLY, FULL, MIRROR Voor mappen voegt APPEND_ONLY rijen toe van nieuwe bestanden, verwerkt FULL de huidige map opnieuw als een momentopname en houdt MIRROR rekening met toegevoegde en verwijderde bestanden. Een enkelvoudige bron gebruikt FULL refresh-semantiek.

Example

Het volgende voorbeeld voert een map met CSV-bestanden met een header-rij in in een bronzen weergave. Elke rij krijgt ook een __filepath__ kolom waarin het bronbestand wordt vastgelegd waaruit het is gelezen.

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'APPEND_ONLY'
);

Je kunt vervolgens stroomafwaarts zilveren en goud gematerialiseerde meer-aanzichten bouwen die selecteren uit bronze.raw_orders; Fabric registreert de afhankelijkheid en ververst deze in volgorde. Om bestanden door de pijplijn te volgen, zie Lineage van gematerialiseerde lake-weergaven in Fabric beheren.

Filter, transformeer en valideer bestanden tijdens het invoeren

Gebruik een FROM-less AS SELECT om kolommen te selecteren, rijen te filteren, waarden te casten, berekende kolommen toe te voegen, data te aggregeren of vensterfuncties toe te passen. Bestandsinvoerbeperkingen draaien op de geprojecteerde uitvoer, zodat een beperking kan verwijzen naar een berekend alias.

Het volgende voorbeeld legt misvormde rijen vast, past een regel voor de gegevenskwaliteit op rijniveau toe, filtert de invoer en splitst de gematerialiseerde uitvoer:

CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
    CONSTRAINT positive_amount
        CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true',
    'multiLine' = 'true',
    'dateFormat' = 'MM/dd/yyyy',
    'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
    'encoding' = 'ISO-8859-1',
    'comment' = '#',
    'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
    'schema_mode' = 'DYNAMIC',
    'refresh_mode' = 'FULL'
)
AS SELECT
    order_id,
    region,
    CAST(amount AS DECIMAL(18,2)) AS order_amount,
    CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
    _corrupt_record,
    __filepath__,
    current_timestamp() AS ingested_at;

Vraag naar vastgelegde rijen voor inspectie of herstel:

SELECT
    _corrupt_record,
    __filepath__,
    ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;

Je kunt ook geaggregeerde of venstergematerialiseerde resultaten direct maken uit bestanden:

CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
    region,
    COUNT(*) AS order_count,
    SUM(amount) AS total_amount,
    AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;

Ondersteunde expressies zijn onder andere standaardrekenkundige Spark SQL-functies, aggregatie-, statistische, venster- en rangschikkingsfuncties.

Invoer een enkel bestand

Stel path in op een CSV- of Parquet-bestand in plaats van een map. Een single-file bron gebruikt FULL refresh-semantiek, dus het vervangen van het bestand vervangt het gematerialiseerde resultaat.

CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
    'format' = 'parquet',
    'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
    'schema_mode' = 'FIXED',
    'refresh_mode' = 'FULL'
);

Opmerking

Wanneer je schema gebruikt FIXED en de bronmap bevat meerdere bestanden met verschillende schema's op het moment van het initiële CREATEschema, faalt de view omdat het geen enkel vast schema kan afstemmen. Wijs FIXED weergaven naar bestanden die één schema delen, of gebruik DYNAMIC. Dit is een bekende beperking, vergelijkbaar met het gedrag van vaste schema's bij snelkoppeltransformaties.

Important

Bronpaden die een ruwe ruimte bevatten of %20 momenteel niet worden geaccepteerd. Je kunt een OneLake-mapsnelkoppeling als bron gebruiken: bij het maken worden bestanden opgenomen die beschikbaar zijn in de hoofdmap van de snelkoppeling en in geneste mappen. Beheerde verversing detecteert nieuwe bestanden die aan de hoofdmap van de snelkoppeling zijn toegevoegd, maar detecteert niet recursief nieuwe bestanden die in onderliggende snelkoppelingsmappen zijn toegevoegd.

Aanbeveling

Om de volledige bronmap op aanvraag opnieuw te verwerken, voer REFRESH MATERIALIZED LAKE VIEW <name> FULL; uit. Net als bij tabelgebaseerde weergaven moet je geen voortdurende verversing vanuit een notitieboekje orkestreeren — gebruik Lineage en Geplande verversing om automatisch nieuwe bestanden op te pikken.

Een lijst met gematerialiseerde lake views ophalen

Gebruik de volgende syntaxis om de lijst met alle gematerialiseerde datalake-weergaven in een schema op te halen:

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

Als u bijvoorbeeld alle gerealiseerde lakeweergaven in het silver schema wilt weergeven:

SHOW MATERIALIZED LAKE VIEWS IN silver;

Verkrijg de instructie die een geconcretiseerde lake view heeft gemaakt

Gebruik de volgende syntaxis om de CREATE instructie voor een gematerialiseerde lake view op te halen:

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

Bijvoorbeeld, om de definitie van products_with_sales op te halen:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Een gerealiseerde lakeweergave bijwerken

Gebruik de opdracht SELECT om de definitie van een gematerialiseerde lake-weergave (zoals de query, beperkingen of partitionering) te wijzigen. U kunt ook de bestaande weergave verwijderen en opnieuw maken.

Een gematerialiseerde lakeweergave hernoemen

Gebruik de opdracht ALTER MATERIALIZED LAKE VIEW om de naam van een bestaande gematerialiseerde lakeweergave te wijzigen. De structuur is als volgt:

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

Als u bijvoorbeeld de naam wilt wijzigen products_with_sales:

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Opmerking

De ALTER MATERIALIZED LAKE VIEW opdracht wordt alleen ondersteund voor het wijzigen van de naam. Als u de definitie of andere eigenschappen (zoals de query SELECT, beperkingen of partitionering) wilt wijzigen, raadpleegt u Een gematerialiseerde lake-weergave bijwerken.

Een gerealiseerde lakeweergave verwijderen

U kunt een gematerialiseerde lakezicht verwijderen met behulp van de optie Verwijderen in de lakehouse-objectverkenner of door een DROP-opdracht uit te voeren. De structuur is als volgt:

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

Als u bijvoorbeeld het volgende wilt verwijderen products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Opmerking

Het verwijderen of hernoemen van een gematerialiseerde lakeweergave is van invloed op de afstammingsweergave en geplande verversing. Zorg ervoor dat u de verwijzing bijwerkt in alle afhankelijke gematerialiseerde lakeviews.

Huidige beperkingen

De volgende beperkingen gelden voor de Spark SQL-instructies voor gematerialiseerde lake-weergaven:

  • Schemanamen: schemanamen in hoofdletters (bijvoorbeeld MYSCHEMA) worden niet ondersteund. Gebruik gemengde hoofdletters of kleine letters.
  • Geen DML-instructies (Data Manipulation Language) - U kunt geen INSERT, UPDATE of DELETE instructies uitvoeren voor een gematerialiseerd lake-overzicht. Gegevens worden alleen ingevuld door de SELECT query in de definitie.
  • Geen query's voor tijdreizen : de SELECT query in een gerealiseerde definitie van de lakeweergave kan geen syntaxis van Delta Lake-tijdreizen (bijvoorbeeld VERSION AS OF of TIMESTAMP AS OF) gebruiken.
  • Geen door de gebruiker gedefinieerde functies : door de gebruiker gedefinieerde functies (UDF's) worden niet ondersteund in de SELECT query waarmee een gerealiseerde lakeweergave wordt gedefinieerd.
  • Geen tijdelijke weergaven als bronnen : de SELECT query kan verwijzen naar tabellen en andere gematerialiseerde lake-weergaven, maar niet naar tijdelijke weergaven.
  • Spark-eigenschappen op sessieniveau: Spark-configuratie-eigenschappen die zijn ingesteld op sessieniveau (bijvoorbeeld spark.conf.set(...)) worden niet toegepast tijdens een geplande vernieuwing. Stel in plaats daarvan eigenschappen in op lakehouse- of werkruimteniveau.
  • Bestandsinvoer — Bestandsinvoerweergaven ondersteunen alleen CSV en Parquet. Een FIXED-schema view faalt als de bronmap bestanden met verschillende schema's bevat bij het aanmaken. Bronpaden kunnen geen ruimtes bevatten. OneLake-mapsneltoetsen worden ondersteund als bronnen, maar beheerde verversing ontdekt niet recursief bestanden die zijn toegevoegd onder geneste snelkoppelingsmappen.