Dokumentacja języka Spark SQL dla zmaterializowanych widoków lake

Ten artykuł przedstawia składnię Spark SQL do tworzenia, listowania, zmiany nazw i usuwania zmaterializowanych widoków jeziora w Fabric.

Tworzenie zmaterializowanego widoku jeziora

Zmaterializowany widok jeziora można zdefiniować z dowolnej tabeli lub z innego zmaterializowanego widoku jeziora w obrębie lakehouse.

Składnia

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)] 
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

Arguments

Przykłady

Poniższy przykład tworzy zmaterializowany widok jeziora z ograniczeniem dotyczącym jakości danych, komentarzem oraz partycjonowaniem. Klauzula OR REPLACE zastępuje dowolny istniejący widok o tej samej nazwie.

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

Poniższy przykład tworzy prostszy zmaterializowany widok jeziora. Klauzula IF NOT EXISTS uniemożliwia błąd, jeśli widok już istnieje, dzięki czemu jest bezpieczny dla skryptów wdrażania.

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

Importuj pliki za pomocą USING OneLake_Files

Oprócz definiowania zmaterializowanego widoku jeziora z tabel za pomocą AS select_statement, możesz zdefiniować taki, który pobiera surowe pliki (CSV lub Parquet) bezpośrednio z OneLake. Widok pobierający plik wykorzystuje klauzulę USING OneLake_Files wskazującą na fizyczny folder OneLake lub skrót do folderu OneLake zamiast zapytania AS SELECT . Ten wzór sprawia, że stanowi naturalną warstwę brązu dla architektury medalionowej.

Poniższa tabela pokazuje, która składnia dotyczy każdego stylu autorstwa:

Składnia

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier
USING OneLake_Files
OPTIONS (
    'format' = 'csv' | 'parquet',
    'path'   = 'abfss://<workspace>@<host>/<lakehouse>/Files/<folder>/',
    ['header' = 'true' | 'false',]
    ['delimiter' = '<char>']
)
[TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC' | 'FIXED',
    'refresh_mode' = 'APPEND_ONLY' | 'FULL' | 'MIRROR'
)]

OPTIONS – odniesienie

Dokumentacja TBLPROPERTIES

Example

Poniższy przykład wczytuje pliki CSV z folderu z wierszem nagłówka do widoku bronze. Każdy wiersz otrzymuje także kolumnę __filepath__ zapisującą plik źródłowy, z którego został odczytany.

CREATE MATERIALIZED LAKE VIEW bronze.raw_orders
USING OneLake_Files
OPTIONS (
    'format' = 'csv',
    'path'   = 'abfss://SalesWorkspace@onelake.dfs.fabric.microsoft.com/SalesLake.Lakehouse/Files/orders/',
    'header' = 'true'
)
TBLPROPERTIES (
    'schema_mode'  = 'DYNAMIC',
    'refresh_mode' = 'APPEND_ONLY'
);

Następnie możesz budować widoki na jezioro materializowane ze srebra i złota, które wybierają spośród ; bronze.raw_ordersFabric rejestruje zależność i odświeża je w kolejności. Aby prześledzić pliki przez pipeline, zobacz Manage Fabric materialized lake views lineage.

Pobieranie listy zmaterializowanych widoków jeziora

Aby uzyskać listę wszystkich zmaterializowanych widoków na jeziorze danych w schemacie, użyj następującej składni:

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

Aby na przykład wyświetlić listę wszystkich zmaterializowanych widoków jeziora w schemacie silver :

SHOW MATERIALIZED LAKE VIEWS IN silver;

Pobierz zapytanie, które utworzyło zmaterializowany widok jeziora

Aby uzyskać instrukcję CREATE dla zmaterializowanego widoku jeziora, użyj następującej składni:

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

Aby na przykład pobrać definicję elementu products_with_sales:

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

Aktualizowanie zmaterializowanego widoku jeziora

Aby zmodyfikować definicję zmaterializowanego widoku lake (takiego jak SELECT zapytanie, ograniczenia lub partycjonowanie), użyj polecenia CREATE OR REPLACE . Alternatywnie możesz usunąć istniejący widok i utworzyć go ponownie.

Zmienianie nazwy zmaterializowanego widoku jeziora

Aby zmienić nazwę istniejącego zmaterializowanego widoku jeziora, użyj ALTER MATERIALIZED LAKE VIEW polecenia . Składnia jest następująca:

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

Na przykład, aby zmienić nazwę products_with_sales:

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

Usuwanie zmaterializowanego widoku jeziora

Zmaterializowany widok jeziora można usunąć przy użyciu opcji Usuń w eksploratorze obiektów lakehouse lub uruchamiając DROP polecenie. Składnia jest następująca:

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

Aby na przykład usunąć products_with_sales:

DROP MATERIALIZED LAKE VIEW products_with_sales;

Bieżące ograniczenia

Następujące ograniczenia dotyczą instrukcji Spark SQL dla zmaterializowanych widoków lake:

• Nazwy schematów — nazwy schematów z wielką literą (na przykład MYSCHEMA) nie są obsługiwane. Użyj małych liter lub liter mieszanych.
• Brak instrukcji języka manipulowania danymi (DML) — nie można uruchamiać instrukcji INSERT, UPDATE ani DELETE na zmaterializowanym widoku lake. Dane są uzupełniane wyłącznie przez zapytanie SELECT określone w definicji.
• Brak zapytań dotyczących podróży czasowych — zapytanie w definicji zmaterializowanego widoku Delta Lake nie może używać składni podróży czasowej Delta Lake (np. SELECT lub ).
• Brak wsparcia dla funkcji zdefiniowanych przez użytkownika — funkcje zdefiniowane przez użytkownika (UDF) nie są obsługiwane w SELECT zapytaniu definiującym zmaterializowany widok typu lake.
• Brak widoków tymczasowych jako źródeł — SELECT zapytanie może odwoływać się do tabel i innych zmaterializowanych widoków jeziora, ale nie widoków tymczasowych.
• Właściwości platformy Spark na poziomie sesji — właściwości konfiguracji platformy Spark ustawione na poziomie sesji (na przykład spark.conf.set(...)) nie są stosowane podczas zaplanowanego odświeżania. Zamiast tego ustaw właściwości na poziomie lakehouse lub obszaru roboczego.

Treści powiązane

• Jakie są zmaterializowane widoki na jezioro w Fabric?
• Jakość danych w zmaterializowanych widokach jezior
• Optymalne odświeżanie dla zmaterializowanych widoków jeziora