Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Dit artikel biedt de Spark SQL-syntaxis voor het aanmaken, vermelden, hernoemen en verwijderen van gematerialiseerde lake-weergaven in Fabric.
Aanbeveling
Zie Aan de slag met gerealiseerde lakeweergaven om uw eerste gerealiseerde meerweergave te maken.
Een gerealiseerde lakeweergave maken
U kunt een gematerialiseerde meerweergave definiëren vanuit elke tabel of vanuit een andere gematerialiseerde lakeweergave binnen een lakehouse.
Syntaxis
CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],
CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL]
)]
[(
REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )]
[COMMENT "description or comment"]
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )]
AS select_statement
Opmerking
- Het
REFRESH_HINTis in preview. Voor meer details over het gebruik van verversingstips, zie Schakel optimale verversing in voor verwijderingen en updates in gematerialiseerde lake views (preview). - Als de naam van uw werkruimte spaties bevat, plaatst u deze tussen backticks:
`My Workspace`.lakehouse.schema.view_name - Gerealiseerde namen van lakeweergaven zijn hoofdletterongevoelig en geconverteerd naar kleine letters (bijvoorbeeld
MyTestViewwordtmytestview).
Arguments
| Kenmerk | Beschrijving |
|---|---|
OR REPLACE |
Overschrijft elke bestaande gerealiseerde materiële lakeweergave met dezelfde naam. Kan niet worden gecombineerd met IF NOT EXISTS. |
IF NOT EXISTS |
Maakt de materiële lakeweergave alleen als deze nog niet bestaat. De instructie slaagt zonder fouten als de weergave al is gedefinieerd. Kan niet worden gecombineerd met OR REPLACE. |
MLV_Identifier |
Naam van het gerealiseerde uitzicht op het meer. Kan volledig worden gekwalificeerd als workspace.lakehouse.schema.name. |
CONSTRAINT ... CHECK |
Definieert een regel voor gegevenskwaliteit. Met CHECK de component wordt een Boole-expressie opgegeven waaraan elke rij moet voldoen. U kunt meerdere beperkingen definiëren. |
ON MISMATCH |
Actie die moet worden ondernomen wanneer een rij een beperking schendt.
DROP verwijdert de rij ongemerkt; FAIL stopt de vernieuwing door een fout. De standaardinstelling is FAIL. |
REFRESH_HINT |
Definieert één of meer kolommen die rijen uniek identificeren voor incrementele verwerking van updates en verwijderingen (preview). |
PARTITIONED BY |
Kolommen voor het partitioneren van de gerealiseerde lakeweergave, waarmee de queryprestaties voor gefilterde leesbewerkingen kunnen worden verbeterd. |
COMMENT |
Beschrijving van vrije tekst die is opgeslagen met de gerealiseerde definitie van lake view. |
TBLPROPERTIES |
Sleutel-waardeparen die zijn opgeslagen als metagegevens in de gerealiseerde lakeweergave. |
AS select_statement |
De SELECT query waarmee de gegevens in de gerealiseerde lakeweergave worden gedefinieerd. |
Voorbeelden
In het volgende voorbeeld wordt een gematerialiseerde lake-weergave gemaakt met een gegevenskwaliteitsbeperking, een opmerking en partitionering. De OR REPLACE component overschrijft elke bestaande weergave met dezelfde naam.
CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT
p.productID,
p.productName,
p.category,
o.orderDate,
o.quantity,
o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID
In het volgende voorbeeld wordt een eenvoudiger vorm van een materialized lakeview gemaakt. De IF NOT EXISTS component voorkomt een fout als de weergave al bestaat, waardoor deze veilig is voor implementatiescripts.
CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT
p.productID,
p.productName,
p.category,
CASE
WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE
ELSE FALSE
END AS has_sales
FROM bronze.products p LEFT JOIN bronze.orders o
ON p.productID = o.productID
Aanbeveling
Gerealiseerde vernieuwing van lake view beheren vanuit uw lakehouse
Nadat u uw gematerialiseerde lake-weergaven hebt gemaakt, moet u het vernieuwen ervan niet vanuit een notebook orkestreren. Gebruik in plaats daarvan de twee ingebouwde mogelijkheden op het lakehouse:
- Herkomst: Fabric leidt de afhankelijkheidsvolgorde van uw gematerialiseerde lakeweergaven af op basis van hun definities. Als u de afstammingsweergave wilt openen, selecteert u het tabblad Gematerialiseerde lake-weergaven op het lint en selecteert u vervolgens Beheren. Hier kunt u een uitvoering volgen en upstream- en downstreamafhankelijkheden voor elke weergave inspecteren.
- Gepland vernieuwen: Vanuit dezelfde weergave Beheren maakt u een of meer schema’s om alle gematerialiseerde lake-weergaven of een geselecteerde subset te vernieuwen. Elk schema wordt onafhankelijk uitgevoerd en vernieuwt weergaven in afhankelijkheidsvolgorde, dus downstreamweergaven lezen altijd nieuwe gegevens uit hun upstreamweergaven. Fabric probeert tijdelijke fouten automatisch opnieuw.
Gebruik notebooks om uw definities van gematerialiseerde lake views op te stellen en iteratief te verbeteren. Laat gegevensafstamming en geplande vernieuwing zorgen voor de volgorde, uitvoering en nieuwe pogingen — voor betrouwbare, herhaalbare gegevens met minder code om te beheren.
Bestanden invoeren met USING OneLake_Files
Naast het definiëren van een gematerialiseerde lakeweergave op basis van tabellen, kun je ook een lakeweergave definiëren die CSV- of Parquet-bestanden rechtstreeks uit OneLake opneemt. Een weergave voor bestandsopname gebruikt USING OneLake_Files een fysieke OneLake-map, een OneLake-mapsnelkoppeling of een pad naar één bestand. Je kunt optioneel een FROM-less AS SELECT clausule gebruiken om de bron te filteren, vorm te geven en te aggregeren terwijl deze wordt opgenomen.
De volgende tabel toont welke syntaxis van toepassing is op elke authoringstijl:
| Aspect | Op een tabel gebaseerde gematerialiseerde datalakeweergave | Op bestanden gebaseerde gematerialiseerde data lake-weergave |
|---|---|---|
| bron | Tabellen of andere gematerialiseerde meergezichten | Een fysieke OneLake-map, OneLake-mapsnelkoppeling of één enkel bestand |
| Definitie | AS select_statement |
USING OneLake_Files
+
OPTIONS + optioneel zonder FROM AS SELECT |
| Formaten | Elke doorzoekbare tabel | CSV, Parket |
| Schema | Afgeleid van de SELECT |
schema_mode
=
DYNAMIC of FIXED |
| Herkomst van de bron | Upstream tabellen/weergaven | Bronlocatie; projecteer optioneel de __filepath__ bronmetadatakolom wanneer je per-rij bestandstraceerbaarheid nodig hebt |
| Typische laag | Zilver, goud | Brons |
| Beperkingen op gegevenskwaliteit | Supported | Ondersteund bij inname |
Syntaxis
CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
'format' = 'csv' | 'parquet',
'path' = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
['header' = 'true' | 'false',]
['delimiter' = '<char>',]
[...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
'schema_mode' = 'DYNAMIC' | 'FIXED',
'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
[GROUP BY expression [, ...]] [HAVING condition]]
Opmerking
Specificeer geen FROM clausule in de bestandsinvoer.AS SELECT De bron is al gebonden door USING OneLake_Files en de path optie.
OPTIONS-referentie
| Option | Van toepassing op: | Beschrijving |
|---|---|---|
format |
CSV, Parket | Indeling van het bronbestand. Ondersteunde waarden zijn csv en parquet. |
path |
CSV, Parket | Een fysieke OneLake-map, snelkoppeling naar een OneLake-map of ABFSS-pad naar één bestand. Bestanden die beschikbaar zijn in geneste submappen worden recursief ingevoerd wanneer de weergave wordt aangemaakt. Gebruik een schuine streep voor een map of voeg de bestandsextensie toe voor één enkel bestand. |
header |
CSV | Geeft aan of de eerste rij van elk bestand kolomnamen bevat. Wordt standaard ingesteld op false. |
delimiter |
CSV | Veldafscheidingsteken (bijvoorbeeld, , of |). Standaard ingesteld op een komma. |
sep |
CSV | Alias voor delimiter. |
quote |
CSV | Het teken dat wordt gebruikt voor het aanhalen van waarden. |
escape |
CSV | Karakter gebruikt om een quote te ontwijken binnen een reeds geciteerde waarde. |
nullValue |
CSV | Tekenreeks die een null-waarde vertegenwoordigt. |
ignoreLeadingWhiteSpace |
CSV | Of voorloopspaties bij waarden moeten worden verwijderd. |
ignoreTrailingWhiteSpace |
CSV | Of je trailing spaces uit waarden moet verwijderen. |
multiLine |
CSV | Of een geciteerde waarde meerdere lijnen kan beslaan. Wordt standaard ingesteld op false. |
dateFormat |
CSV | Het Java-datumpatroon wordt gebruikt om datumwaarden te analyseren, zoals MM/dd/yyyy. |
timestampFormat |
CSV | Java timestamp-patroon gebruikt om tijdstempelwaarden te analyseren. |
encoding |
CSV | Tekencodering, zoals UTF-8, UTF-16, Windows-1252 of ISO-8859-1. |
comment |
CSV | Een personage dat een regel markeert als een opmerking om over te slaan. |
inferSchema |
CSV | Of kolomtypen moeten worden afgeleid. Wanneer false, worden kolommen als strings gelezen. Gebruik FIXED schemamodus bij het uitschakelen van inferentie. |
columnNameOfCorruptRecord |
CSV | Naam van een stringkolom die de ruwe tekst ontvangt voor misvormde rijen. Geldige rijen bevatten NULL in deze kolom. Neem de kolom op in de AS SELECT output. |
Important
Fabric beheert het hanteren van misvormde rijen. Stel de Spark CSV-optie mode niet in.
TBLPROPERTIES-referentie
| Property | Values | Beschrijving |
|---|---|---|
schema_mode |
DYNAMIC (standaard), FIXED |
DYNAMIC voegt nieuw ontdekte kolommen toe en schrijft NULL wanneer een bestand geen vastgestelde kolom bevat.
FIXED zet het schema bij het aanmaken vast en verwerpt latere afwijkingen. |
refresh_mode |
APPEND_ONLY, FULL, MIRROR |
Voor mappen voegt APPEND_ONLY rijen toe van nieuwe bestanden, verwerkt FULL de huidige map opnieuw als een momentopname en houdt MIRROR rekening met toegevoegde en verwijderde bestanden. Een enkelvoudige bron gebruikt FULL refresh-semantiek. |
Example
Het volgende voorbeeld voert een map met CSV-bestanden met een header-rij in in een bronzen weergave. Elke rij krijgt ook een __filepath__ kolom waarin het bronbestand wordt vastgelegd waaruit het is gelezen.
CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
'format' = 'csv',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
'header' = 'true'
)
TBLPROPERTIES (
'schema_mode' = 'DYNAMIC',
'refresh_mode' = 'APPEND_ONLY'
);
Je kunt vervolgens stroomafwaarts zilveren en goud gematerialiseerde meer-aanzichten bouwen die selecteren uit bronze.raw_orders; Fabric registreert de afhankelijkheid en ververst deze in volgorde. Om bestanden door de pijplijn te volgen, zie Lineage van gematerialiseerde lake-weergaven in Fabric beheren.
Filter, transformeer en valideer bestanden tijdens het invoeren
Gebruik een FROM-less AS SELECT om kolommen te selecteren, rijen te filteren, waarden te casten, berekende kolommen toe te voegen, data te aggregeren of vensterfuncties toe te passen. Bestandsinvoerbeperkingen draaien op de geprojecteerde uitvoer, zodat een beperking kan verwijzen naar een berekend alias.
Het volgende voorbeeld legt misvormde rijen vast, past een regel voor de gegevenskwaliteit op rijniveau toe, filtert de invoer en splitst de gematerialiseerde uitvoer:
CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
CONSTRAINT positive_amount
CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
'format' = 'csv',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
'header' = 'true',
'multiLine' = 'true',
'dateFormat' = 'MM/dd/yyyy',
'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
'encoding' = 'ISO-8859-1',
'comment' = '#',
'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
'schema_mode' = 'DYNAMIC',
'refresh_mode' = 'FULL'
)
AS SELECT
order_id,
region,
CAST(amount AS DECIMAL(18,2)) AS order_amount,
CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
_corrupt_record,
__filepath__,
current_timestamp() AS ingested_at;
Vraag naar vastgelegde rijen voor inspectie of herstel:
SELECT
_corrupt_record,
__filepath__,
ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;
Je kunt ook geaggregeerde of venstergematerialiseerde resultaten direct maken uit bestanden:
CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
'format' = 'parquet',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
region,
COUNT(*) AS order_count,
SUM(amount) AS total_amount,
AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;
Ondersteunde expressies zijn onder andere standaardrekenkundige Spark SQL-functies, aggregatie-, statistische, venster- en rangschikkingsfuncties.
Invoer een enkel bestand
Stel path in op een CSV- of Parquet-bestand in plaats van een map. Een single-file bron gebruikt FULL refresh-semantiek, dus het vervangen van het bestand vervangt het gematerialiseerde resultaat.
CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
'format' = 'parquet',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
'schema_mode' = 'FIXED',
'refresh_mode' = 'FULL'
);
Opmerking
Wanneer je schema gebruikt FIXED en de bronmap bevat meerdere bestanden met verschillende schema's op het moment van het initiële CREATEschema, faalt de view omdat het geen enkel vast schema kan afstemmen. Wijs FIXED weergaven naar bestanden die één schema delen, of gebruik DYNAMIC. Dit is een bekende beperking, vergelijkbaar met het gedrag van vaste schema's bij snelkoppeltransformaties.
Important
Bronpaden die een ruwe ruimte bevatten of %20 momenteel niet worden geaccepteerd. Je kunt een OneLake-mapsnelkoppeling als bron gebruiken: bij het maken worden bestanden opgenomen die beschikbaar zijn in de hoofdmap van de snelkoppeling en in geneste mappen. Beheerde verversing detecteert nieuwe bestanden die aan de hoofdmap van de snelkoppeling zijn toegevoegd, maar detecteert niet recursief nieuwe bestanden die in onderliggende snelkoppelingsmappen zijn toegevoegd.
Aanbeveling
Om de volledige bronmap op aanvraag opnieuw te verwerken, voer REFRESH MATERIALIZED LAKE VIEW <name> FULL; uit. Net als bij tabelgebaseerde weergaven moet je geen voortdurende verversing vanuit een notitieboekje orkestreeren — gebruik Lineage en Geplande verversing om automatisch nieuwe bestanden op te pikken.
Een lijst met gematerialiseerde lake views ophalen
Gebruik de volgende syntaxis om de lijst met alle gematerialiseerde datalake-weergaven in een schema op te halen:
SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;
Als u bijvoorbeeld alle gerealiseerde lakeweergaven in het silver schema wilt weergeven:
SHOW MATERIALIZED LAKE VIEWS IN silver;
Verkrijg de instructie die een geconcretiseerde lake view heeft gemaakt
Gebruik de volgende syntaxis om de CREATE instructie voor een gematerialiseerde lake view op te halen:
SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;
Bijvoorbeeld, om de definitie van products_with_sales op te halen:
SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;
Een gerealiseerde lakeweergave bijwerken
Gebruik de opdracht SELECT om de definitie van een gematerialiseerde lake-weergave (zoals de query, beperkingen of partitionering) te wijzigen. U kunt ook de bestaande weergave verwijderen en opnieuw maken.
Een gematerialiseerde lakeweergave hernoemen
Gebruik de opdracht ALTER MATERIALIZED LAKE VIEW om de naam van een bestaande gematerialiseerde lakeweergave te wijzigen. De structuur is als volgt:
ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;
Als u bijvoorbeeld de naam wilt wijzigen products_with_sales:
ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;
Opmerking
De ALTER MATERIALIZED LAKE VIEW opdracht wordt alleen ondersteund voor het wijzigen van de naam. Als u de definitie of andere eigenschappen (zoals de query SELECT, beperkingen of partitionering) wilt wijzigen, raadpleegt u Een gematerialiseerde lake-weergave bijwerken.
Een gerealiseerde lakeweergave verwijderen
U kunt een gematerialiseerde lakezicht verwijderen met behulp van de optie Verwijderen in de lakehouse-objectverkenner of door een DROP-opdracht uit te voeren. De structuur is als volgt:
DROP MATERIALIZED LAKE VIEW MLV_Identifier;
Als u bijvoorbeeld het volgende wilt verwijderen products_with_sales:
DROP MATERIALIZED LAKE VIEW products_with_sales;
Opmerking
Het verwijderen of hernoemen van een gematerialiseerde lakeweergave is van invloed op de afstammingsweergave en geplande verversing. Zorg ervoor dat u de verwijzing bijwerkt in alle afhankelijke gematerialiseerde lakeviews.
Huidige beperkingen
De volgende beperkingen gelden voor de Spark SQL-instructies voor gematerialiseerde lake-weergaven:
-
Schemanamen: schemanamen in hoofdletters (bijvoorbeeld
MYSCHEMA) worden niet ondersteund. Gebruik gemengde hoofdletters of kleine letters. -
Geen DML-instructies (Data Manipulation Language) - U kunt geen
INSERT,UPDATEofDELETEinstructies uitvoeren voor een gematerialiseerd lake-overzicht. Gegevens worden alleen ingevuld door deSELECTquery in de definitie. -
Geen query's voor tijdreizen : de
SELECTquery in een gerealiseerde definitie van de lakeweergave kan geen syntaxis van Delta Lake-tijdreizen (bijvoorbeeldVERSION AS OFofTIMESTAMP AS OF) gebruiken. -
Geen door de gebruiker gedefinieerde functies : door de gebruiker gedefinieerde functies (UDF's) worden niet ondersteund in de
SELECTquery waarmee een gerealiseerde lakeweergave wordt gedefinieerd. -
Geen tijdelijke weergaven als bronnen : de
SELECTquery kan verwijzen naar tabellen en andere gematerialiseerde lake-weergaven, maar niet naar tijdelijke weergaven. -
Spark-eigenschappen op sessieniveau: Spark-configuratie-eigenschappen die zijn ingesteld op sessieniveau (bijvoorbeeld
spark.conf.set(...)) worden niet toegepast tijdens een geplande vernieuwing. Stel in plaats daarvan eigenschappen in op lakehouse- of werkruimteniveau. -
Bestandsinvoer — Bestandsinvoerweergaven ondersteunen alleen CSV en Parquet. Een
FIXED-schema view faalt als de bronmap bestanden met verschillende schema's bevat bij het aanmaken. Bronpaden kunnen geen ruimtes bevatten. OneLake-mapsneltoetsen worden ondersteund als bronnen, maar beheerde verversing ontdekt niet recursief bestanden die zijn toegevoegd onder geneste snelkoppelingsmappen.