Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Ten artykuł przedstawia składnię Spark SQL do tworzenia, listowania, zmiany nazw i usuwania zmaterializowanych widoków jeziora w Fabric.
Wskazówka
Aby utworzyć pierwszy zmaterializowany widok jeziora, zobacz Wprowadzenie do zmaterializowanych widoków jeziora.
Tworzenie zmaterializowanego widoku jeziora
Zmaterializowany widok jeziora można zdefiniować z dowolnej tabeli lub z innego zmaterializowanego widoku jeziora w obrębie lakehouse.
Składnia
CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],
CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL]
)]
[(
REFRESH_HINT <hint_name> UNIQUE (<column1> [, <column2>, ...])
)]
[PARTITIONED BY (col1, col2, ... )]
[COMMENT "description or comment"]
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )]
AS select_statement
Uwaga / Notatka
-
REFRESH_HINTjest w wersji zapoznawczej. Więcej szczegółów na temat korzystania z podpowiedzi odświeżania znajdziesz w artykule Włącz optymalne odświeżanie dla usuwania i aktualizacji w zmaterializowanych widokach jeziora (podgląd). - Jeśli nazwa obszaru roboczego zawiera spacje, umieść ją w apostrofach:
`My Workspace`.lakehouse.schema.view_name - Nazwy zmaterializowanych widoków jeziora są rozróżniane bez uwzględniania wielkości liter i konwertowane na małe litery (na przykład
MyTestViewstaje sięmytestview).
Arguments
| Parametr | Opis |
|---|---|
OR REPLACE |
Zastępuje istniejący zmaterializowany widok jeziora o tej samej nazwie. Nie można połączyć z IF NOT EXISTS. |
IF NOT EXISTS |
Tworzy zmaterializowany widok jeziora tylko wtedy, gdy jeszcze nie istnieje. Instrukcja powiedzie się bez błędu, jeśli widok jest już zdefiniowany. Nie można połączyć z OR REPLACE. |
MLV_Identifier |
Nazwa zmaterializowanego widoku jeziora. Można w pełni zakwalifikować jako workspace.lakehouse.schema.name. |
CONSTRAINT ... CHECK |
Definiuje regułę jakości danych. Klauzula CHECK określa wyrażenie logiczne, które musi spełniać każdy wiersz. Można zdefiniować wiele ograniczeń. |
ON MISMATCH |
Działanie do podjęcia, gdy wiersz narusza ograniczenie.
DROP dyskretnie usuwa wiersz; FAIL zatrzymuje odświeżanie z powodu błędu. Wartość domyślna to FAIL. |
REFRESH_HINT |
Deklaruje jedną lub więcej kolumn, które jednoznacznie identyfikują wiersze do inkrementalnego przetwarzania aktualizacji i usunięć (podgląd). |
PARTITIONED BY |
Kolumny do partycjonowania zmaterializowanego widoku jeziora, który może poprawić wydajność zapytań dla filtrowanych odczytów. |
COMMENT |
Opis w formie wolnego tekstu przechowywany w definicji zmaterializowanego widoku jeziora. |
TBLPROPERTIES |
Pary klucz-wartość przechowywane jako metadane w zmaterializowanym widoku jeziora. |
AS select_statement |
Zapytanie SELECT definiujące dane w zmaterializowanym widoku jeziora. |
Przykłady
Poniższy przykład tworzy zmaterializowany widok jeziora z ograniczeniem dotyczącym jakości danych, komentarzem oraz partycjonowaniem. Klauzula OR REPLACE zastępuje dowolny istniejący widok o tej samej nazwie.
CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT
p.productID,
p.productName,
p.category,
o.orderDate,
o.quantity,
o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID
Poniższy przykład tworzy prostszy zmaterializowany widok jeziora. Klauzula IF NOT EXISTS uniemożliwia błąd, jeśli widok już istnieje, dzięki czemu jest bezpieczny dla skryptów wdrażania.
CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT
p.productID,
p.productName,
p.category,
CASE
WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE
ELSE FALSE
END AS has_sales
FROM bronze.products p LEFT JOIN bronze.orders o
ON p.productID = o.productID
Wskazówka
Zarządzaj odświeżaniem zmaterializowanego widoku jeziora danych z poziomu lakehouse
Po utworzeniu zmaterializowanych widoków jeziora danych nie koordynuj ich odświeżania z poziomu notesu. Zamiast tego użyj dwóch wbudowanych funkcji w lakehouse:
- Pochodzenie danych: Fabric określa kolejność zależności między zmaterializowanymi widokami jeziora danych na podstawie ich definicji. Aby otworzyć widok pochodzenia, wybierz kartę Zmaterializowane widoki jeziora na wstążce, a następnie wybierz pozycję Zarządzaj. Z tego miejsca możesz śledzić przebieg w toku i sprawdzać zależności nadrzędne i podrzędne dla każdego widoku.
- Zaplanowane odświeżanie: w tym samym widoku Zarządzanie utwórz co najmniej jeden harmonogram, aby odświeżyć wszystkie zmaterializowane widoki lake lub wybrany podzestaw. Każdy harmonogram jest uruchamiany niezależnie i odświeża widoki w kolejności zależności, więc widoki podrzędne zawsze odczytują świeże dane z ich widoków nadrzędnych. Fabric automatycznie ponawia próby w przypadku przejściowych błędów.
Użyj notatników, aby tworzyć i modyfikować definicje zmaterializowanych widoków lake. Niech śledzenie pochodzenia danych i zaplanowane odświeżanie odpowiadają za kolejność, uruchamianie i ponawianie prób — aby zapewnić niezawodne, powtarzalne dane przy mniejszej ilości kodu do utrzymania.
Importuj pliki za pomocą USING OneLake_Files
Oprócz definiowania zmaterializowanego widoku jeziora z tabel, możesz też zdefiniować taki, który pobiera pliki CSV lub Parquet bezpośrednio z OneLake. Widok importujący pliki używa USING OneLake_Files fizycznego folderu OneLake, skrótu do folderu OneLake lub ścieżki do pojedynczego pliku. Możesz opcjonalnie użyć klauzuli AS SELECT bez FROM, aby filtrować, przekształcać i agregować dane źródłowe podczas ich pozyskiwania.
Poniższa tabela pokazuje, która składnia dotyczy każdego stylu autorstwa:
| Aspect | Widok zmaterializowany jeziora danych oparty na tabeli | Oparty na plikach zmaterializowany widok na jezioro |
|---|---|---|
| Source | Stoły lub inne zmaterializowane widoki na jezioro | Fizyczny folder OneLake, skrót do folderu OneLake lub pojedynczy plik |
| Definition | AS select_statement |
USING OneLake_Files
+
OPTIONS + opcjonalnie bez FROM AS SELECT |
| Formaty | Dowolna tabela zapytania. | CSV, Parquet |
| Schema | Pochodzące z SELECT |
schema_mode
=
DYNAMIC lub FIXED |
| Pochodzenie źródłowe | Tabele/widoki w górnym toku | Lokalizacja źródła; opcjonalnie rzutuj kolumnę __filepath__ metadanych źródłowych, gdy potrzebujesz śledzenia pliku w pojedynczym wierszu |
| Typowa warstwa | Srebro, złoto | Brąz |
| Ograniczenia jakości danych | Supported | Wspierane w momencie spożycia |
Składnia
CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
[(
CONSTRAINT constraint_name CHECK (condition) ON MISMATCH DROP | FAIL
)]
USING OneLake_Files
OPTIONS (
'format' = 'csv' | 'parquet',
'path' = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder-or-file>',
['header' = 'true' | 'false',]
['delimiter' = '<char>',]
[...]
)
[PARTITIONED BY (column_name [, ...])]
[COMMENT "description"]
[TBLPROPERTIES (
'schema_mode' = 'DYNAMIC' | 'FIXED',
'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]
[AS SELECT select_expression [...] [WHERE condition]
[GROUP BY expression [, ...]] [HAVING condition]]
Uwaga / Notatka
Nie określaj klauzuli FROM w pozyskiwaniu plików AS SELECT. Źródło jest już powiązane za pomocą USING OneLake_Files oraz opcji path.
OPTIONS – odniesienie
| Option | Dotyczy | Opis |
|---|---|---|
format |
CSV, Parquet | Format pliku źródłowego. Obsługiwane wartości to csv i parquet. |
path |
CSV, Parquet | Fizyczny folder OneLake, skrót do folderu OneLake lub ścieżka ABFSS w pojedynczym pliku. Pliki dostępne w zagnieżdżonych podfolderach są pobierane rekurencyjnie podczas tworzenia widoku. Użyj kośnika końcowego dla folderu lub dołącz rozszerzenie pliku dla pojedynczego pliku. |
header |
CSV | Wskazuje, czy pierwszy wiersz każdego pliku zawiera nazwy kolumn. Wartość domyślna to false. |
delimiter |
CSV | Znak ogranicznika pól (na przykład , lub |). Domyślnie używa przecinka. |
sep |
CSV | Alias dla elementu delimiter. |
quote |
CSV | Znak używany do ujmowania wartości w cudzysłów. |
escape |
CSV | Znak używany do ucieczki z cytatu wewnątrz już podanej wartości. |
nullValue |
CSV | Ciąg reprezentujący wartość null. |
ignoreLeadingWhiteSpace |
CSV | Czy usunąć początkowe spacje w wartościach. |
ignoreTrailingWhiteSpace |
CSV | Czy usunąć odstępy końcowe z wartości. |
multiLine |
CSV | Czy cytowana wartość może obejmować wiele linii. Wartość domyślna to false. |
dateFormat |
CSV | Wzorzec dat Java używany do analizy wartości dat, takich jak MM/dd/yyyy. |
timestampFormat |
CSV | Wzorzec znaczników czasu Java używany do analizy wartości znaczników czasu. |
encoding |
CSV | Kodowanie znaków, takie jak UTF-8, ISO-8859-1, UTF-16, lub Windows-1252. |
comment |
CSV | Znak oznaczający wiersz jako komentarz do pominięcia. |
inferSchema |
CSV | Czy wywnioskować typy kolumn. Gdy false, kolumny odczytywane są jako ciągi znaków. Używaj FIXED trybu schematu podczas wyłączania wnioskowania. |
columnNameOfCorruptRecord |
CSV | Nazwa kolumny ciągu, która otrzymuje surowy tekst dla nieukształtowanych wierszy. Prawidłowe wiersze zawierają NULL w tej kolumnie. Uwzględnij kolumnę w danych wyjściowych AS SELECT. |
Important
Fabric radzi sobie z nieprawidłowym obsługą rzędów. Nie ustawiaj opcji CSV mode w Spark.
Dokumentacja TBLPROPERTIES
| Property | Values | Opis |
|---|---|---|
schema_mode |
DYNAMIC (wartość domyślna), FIXED |
DYNAMIC dodaje nowo odkryte kolumny i zapisuje, NULL gdy plik nie zawiera ustalonej kolumny.
FIXED ustala schemat w momencie tworzenia i odrzuca późniejsze rozbieżności. |
refresh_mode |
APPEND_ONLY, FULL, MIRROR |
W przypadku folderów dodaje APPEND_ONLY wiersze z nowych plików, FULL przetwarza aktualny folder jako migawkę oraz odzwierciedla MIRROR dodawanie i usuwanie plików. Źródło jednoplikowe używa semantyki odświeżania FULL. |
Example
Poniższy przykład wczytuje pliki CSV z folderu z wierszem nagłówka do widoku bronze. Każdy wiersz otrzymuje także kolumnę __filepath__ zapisującą plik źródłowy, z którego został odczytany.
CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
'format' = 'csv',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
'header' = 'true'
)
TBLPROPERTIES (
'schema_mode' = 'DYNAMIC',
'refresh_mode' = 'APPEND_ONLY'
);
Następnie możesz budować widoki na jezioro materializowane ze srebra i złota, które wybierają spośród ; bronze.raw_ordersFabric rejestruje zależność i odświeża je w kolejności. Aby prześledzić pliki przez pipeline, zobacz Manage Fabric materialized lake views lineage.
Filtruj, transformuj i waliduj pliki podczas pobierania
Użyj zapytania AS SELECT bez klauzuli FROM, aby wybierać kolumny, filtrować wiersze, rzutować wartości, dodawać kolumny obliczeniowe, agregować dane lub stosować funkcje okienne. Ograniczenia importu plików są sprawdzane względem projektowanych danych wyjściowych, więc ograniczenie może odwoływać się do obliczonego aliasu.
Poniższy przykład rejestruje nieprawidłowo ukształtowane wiersze, stosuje regułę jakości danych na poziomie wiersza, filtruje wejście wejściowe i dzieli materializowany wynik:
CREATE MATERIALIZED LAKE VIEW silver.valid_orders
(
CONSTRAINT positive_amount
CHECK (order_amount > 0) ON MISMATCH DROP
)
USING OneLake_Files
OPTIONS (
'format' = 'csv',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
'header' = 'true',
'multiLine' = 'true',
'dateFormat' = 'MM/dd/yyyy',
'timestampFormat' = 'MM/dd/yyyy HH:mm:ss',
'encoding' = 'ISO-8859-1',
'comment' = '#',
'columnNameOfCorruptRecord' = '_corrupt_record'
)
PARTITIONED BY (region)
COMMENT "Valid orders ingested from CSV"
TBLPROPERTIES (
'schema_mode' = 'DYNAMIC',
'refresh_mode' = 'FULL'
)
AS SELECT
order_id,
region,
CAST(amount AS DECIMAL(18,2)) AS order_amount,
CASE WHEN amount >= 1000 THEN 'high' ELSE 'standard' END AS order_band,
_corrupt_record,
__filepath__,
current_timestamp() AS ingested_at;
Wyszukaj przechwycone wiersze do sprawdzenia lub naprawy:
SELECT
_corrupt_record,
__filepath__,
ingested_at
FROM silver.valid_orders
WHERE _corrupt_record IS NOT NULL;
Możesz także tworzyć zagregowane lub okienkowe, materializowane wyniki bezpośrednio z plików:
CREATE MATERIALIZED LAKE VIEW gold.sales_by_region
USING OneLake_Files
OPTIONS (
'format' = 'parquet',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/sales/'
)
TBLPROPERTIES ('schema_mode' = 'DYNAMIC', 'refresh_mode' = 'FULL')
AS SELECT
region,
COUNT(*) AS order_count,
SUM(amount) AS total_amount,
AVG(amount) AS average_amount
GROUP BY region
HAVING SUM(amount) > 0;
Obsługiwane wyrażenia obejmują standardową arytmetykę Spark SQL, agregację, statystykę, okno oraz funkcje rankingowe.
Zaimportuj pojedynczy plik
Ustaw path plik CSV lub Parquet zamiast folderu. Źródło jednoplikowe używa semantyki odświeżania FULL, więc zastąpienie pliku powoduje zastąpienie zmaterializowanego rezultatu.
CREATE MATERIALIZED LAKE VIEW bronze.monthly_snapshot
USING OneLake_Files
OPTIONS (
'format' = 'parquet',
'path' = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/snapshots/2026-08.parquet'
)
TBLPROPERTIES (
'schema_mode' = 'FIXED',
'refresh_mode' = 'FULL'
);
Uwaga / Notatka
Gdy używasz FIXED schematu, a folder źródłowy zawiera wiele plików z różnymi schematami w momencie początkowego CREATE, widok zawodzi, ponieważ nie potrafi pogodzić jednego stałego schematu. Skieruj widoki FIXED na pliki, które korzystają z tego samego schematu, lub użyj DYNAMIC. Jest to znane ograniczenie, podobne do zachowania schematu stałego w transformacjach skrótowych.
Important
Ścieżki źródłowe zawierające surową spację lub %20 nie są obecnie obsługiwane. Możesz użyć skrótu do folderu OneLake jako źródła: podczas tworzenia pobierane są pliki dostępne w katalogu głównym skrótu oraz w zagnieżdżonych folderach. Zarządzane odświeżanie wykrywa nowe pliki dodane w katalogu głównym skrótu, ale nie wykrywa rekursywnie nowych plików dodanych w zagnieżdżonych folderach skrótów.
Wskazówka
Aby przetworzyć cały folder źródłowy na żądanie, uruchom REFRESH MATERIALIZED LAKE VIEW <name> FULL;. Podobnie jak w przypadku widoków tabelowych, nie organizuj ciągłego odświeżania z notatnika — użyj Lineage i Scheduled refresh, aby automatycznie pobierać nowe pliki.
Pobieranie listy zmaterializowanych widoków jeziora
Aby uzyskać listę wszystkich zmaterializowanych widoków na jeziorze danych w schemacie, użyj następującej składni:
SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;
Aby na przykład wyświetlić listę wszystkich zmaterializowanych widoków jeziora w schemacie silver :
SHOW MATERIALIZED LAKE VIEWS IN silver;
Pobierz zapytanie, które utworzyło zmaterializowany widok jeziora
Aby uzyskać instrukcję CREATE dla zmaterializowanego widoku jeziora, użyj następującej składni:
SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;
Aby na przykład pobrać definicję elementu products_with_sales:
SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;
Aktualizowanie zmaterializowanego widoku jeziora
Aby zmodyfikować definicję zmaterializowanego widoku lake (takiego jak SELECT zapytanie, ograniczenia lub partycjonowanie), użyj polecenia CREATE OR REPLACE . Alternatywnie możesz usunąć istniejący widok i utworzyć go ponownie.
Zmienianie nazwy zmaterializowanego widoku jeziora
Aby zmienić nazwę istniejącego zmaterializowanego widoku jeziora, użyj ALTER MATERIALIZED LAKE VIEW polecenia . Składnia jest następująca:
ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;
Na przykład, aby zmienić nazwę products_with_sales:
ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;
Uwaga / Notatka
Polecenie ALTER MATERIALIZED LAKE VIEW jest obsługiwane tylko w przypadku zmiany nazwy. Aby zmodyfikować definicję lub inne właściwości (takie jak SELECT zapytanie, ograniczenia lub partycjonowanie), zobacz Aktualizowanie zmaterializowanego widoku typu lake.
Usuwanie zmaterializowanego widoku jeziora
Zmaterializowany widok jeziora można usunąć przy użyciu opcji Usuń w eksploratorze obiektów lakehouse lub uruchamiając DROP polecenie. Składnia jest następująca:
DROP MATERIALIZED LAKE VIEW MLV_Identifier;
Aby na przykład usunąć products_with_sales:
DROP MATERIALIZED LAKE VIEW products_with_sales;
Uwaga / Notatka
Usunięcie lub zmiana nazwy widoku jeziora zmaterializowanego wpływa na widok pochodzenia oraz harmonogram odświeżania. Pamiętaj, aby zaktualizować odwołanie we wszystkich zależnych zmaterializowanych widokach jeziora.
Bieżące ograniczenia
Następujące ograniczenia dotyczą instrukcji Spark SQL dla zmaterializowanych widoków lake:
-
Nazwy schematów — nazwy schematów z wielką literą (na przykład
MYSCHEMA) nie są obsługiwane. Użyj małych liter lub liter mieszanych. -
Brak instrukcji języka manipulowania danymi (DML) — nie można uruchamiać instrukcji
INSERT,UPDATEaniDELETEna zmaterializowanym widoku lake. Dane są uzupełniane wyłącznie przez zapytanieSELECTokreślone w definicji. -
Brak zapytań dotyczących podróży czasowych — zapytanie w definicji zmaterializowanego widoku Delta Lake nie może używać składni podróży czasowej Delta Lake (np.
SELECTlub ). -
Brak wsparcia dla funkcji zdefiniowanych przez użytkownika — funkcje zdefiniowane przez użytkownika (UDF) nie są obsługiwane w
SELECTzapytaniu definiującym zmaterializowany widok typu lake. -
Brak widoków tymczasowych jako źródeł —
SELECTzapytanie może odwoływać się do tabel i innych zmaterializowanych widoków jeziora, ale nie widoków tymczasowych. -
Właściwości platformy Spark na poziomie sesji — właściwości konfiguracji platformy Spark ustawione na poziomie sesji (na przykład
spark.conf.set(...)) nie są stosowane podczas zaplanowanego odświeżania. Zamiast tego ustaw właściwości na poziomie lakehouse lub obszaru roboczego. -
Import plików — Widoki importu plików obsługują tylko formaty CSV i Parquet. Widok schematu
FIXEDkończy się niepowodzeniem, jeśli folder źródłowy zawiera pliki o różnych schematach w momencie tworzenia. Ścieżki źródłowe nie mogą zawierać spacji. Skróty folderów OneLake są obsługiwane jako źródła, ale zarządzane odświeżanie nie wykrywa rekurencyjnie plików dodanych w zagnieżdżonych folderach skrótów.