具体化されたレイク ビューの Spark SQL リファレンス

この記事では、Fabricでマテリアル化された湖のビューを作成、リストアップ、名前変更、削除するためのSpark SQL構文を提供します。

具体化された湖のビューを作成する

具体化された湖のビューは、任意のテーブルから、またはレイクハウス内の別の具体化された湖のビューから定義できます。

構文

CREATE [OR REPLACE] MATERIALIZED LAKE VIEW [IF NOT EXISTS] [workspace.lakehouse.schema].MLV_Identifier 
[( 
    CONSTRAINT constraint_name1 CHECK (condition expression1) [ON MISMATCH DROP | FAIL],  
    CONSTRAINT constraint_name2 CHECK (condition expression2) [ON MISMATCH DROP | FAIL] 
)] 
[PARTITIONED BY (col1, col2, ... )] 
[COMMENT "description or comment"] 
[TBLPROPERTIES ("key1"="val1", "key2"="val2", ... )] 
AS select_statement 

論争

例示

次の例では、データ品質制約、コメント、パーティション分割を使用して具体化されたレイク ビューを作成します。 OR REPLACE句は、同じ名前の既存のビューを上書きします。

CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
(
    CONSTRAINT valid_quantity CHECK (quantity > 0) ON MISMATCH DROP
)
PARTITIONED BY (category)
COMMENT "Cleaned order data joined from products and orders"
AS SELECT 
    p.productID,
    p.productName,
    p.category,
    o.orderDate,
    o.quantity,
    o.totalAmount
FROM bronze.products p INNER JOIN bronze.orders o
ON p.productID = o.productID

次の例では、よりシンプルな具体化されたレイク ビューを作成します。 IF NOT EXISTS句は、ビューが既に存在する場合にエラーを防ぎ、デプロイ スクリプトに対して安全です。

CREATE MATERIALIZED LAKE VIEW IF NOT EXISTS silver.products_with_sales AS
SELECT 
    p.productID,
    p.productName,
    p.category,
    CASE  
        WHEN COUNT(o.orderID) OVER (PARTITION BY p.productID) > 0 THEN TRUE  
        ELSE FALSE  
        END AS has_sales 
FROM bronze.products p LEFT JOIN bronze.orders o 
ON p.productID = o.productID

マテリアライズド・レイクビューの一覧を取得する

スキーマ内のすべての具体化されたレイク ビューの一覧を取得するには、次の構文を使用します。

SHOW MATERIALIZED LAKE VIEWS <IN/FROM> Schema_Name;

たとえば、 silver スキーマ内のすべての具体化されたレイク ビューを一覧表示するには、次のようにします。

SHOW MATERIALIZED LAKE VIEWS IN silver;

具体化されたレイク ビューを作成したステートメントを取得する

具体化されたレイク ビューの CREATE ステートメントを取得するには、次の構文を使用します。

SHOW CREATE MATERIALIZED LAKE VIEW MLV_Identifier;

たとえば、 products_with_salesの定義を取得するには、次のようにします。

SHOW CREATE MATERIALIZED LAKE VIEW products_with_sales;

具体化された湖のビューを更新する

具体化されたレイク ビューの定義 ( SELECT クエリ、制約、パーティション分割など) を変更するには、 CREATE または REPLACE コマンドを使用します。 または、既存のビューを 削除 して再作成することもできます。

マテリアライズド レイクビューの名前を変更する

既存の具体化されたレイク ビューの名前を変更するには、 ALTER MATERIALIZED LAKE VIEW コマンドを使用します。 構文は次のとおりです。

ALTER MATERIALIZED LAKE VIEW MLV_Identifier RENAME TO MLV_Identifier_New;

たとえば、 products_with_salesの名前を変更するには、次のようにします。

ALTER MATERIALIZED LAKE VIEW products_with_sales RENAME TO products_with_sales_v2;

具体化された湖のビューを削除する

具体化されたレイク ビューを削除するには、lakehouse オブジェクト エクスプローラーの [削除 ] オプションを使用するか、 DROP コマンドを実行します。 構文は次のとおりです。

DROP MATERIALIZED LAKE VIEW MLV_Identifier;

たとえば、 products_with_salesを削除するには、次のようにします。

DROP MATERIALIZED LAKE VIEW products_with_sales;

現在の制限

具体化されたレイク ビューの Spark SQL ステートメントには、次の制限事項が適用されます。

• スキーマ名 - すべて大文字のスキーマ名 (たとえば、 MYSCHEMA) はサポートされていません。 大文字と小文字の混在またはすべて小文字を使用します。
• データ操作言語 (DML) ステートメントはありません 。具体化されたレイク ビューに対して INSERT、 UPDATE、または DELETE ステートメントを実行することはできません。 データは、定義内の SELECT クエリによってのみ設定されます。
• タイム トラベル クエリなし — 具体化されたレイク ビュー定義の SELECT クエリでは、Delta Lake タイム トラベル 構文 ( VERSION AS OF や TIMESTAMP AS OFなど) を使用できません。
• ユーザー定義関数がありません 。 具体化されたレイク ビューを定義する SELECT クエリでは、ユーザー定義関数 (UDF) はサポートされていません。
• ソースとしての一時ビューはありません 。 SELECT クエリでは、テーブルやその他の具体化されたレイク ビューを参照できますが、一時ビューは参照できません。
• セッション レベルの Spark プロパティ — セッション レベルで設定された Spark 構成プロパティ (たとえば、 spark.conf.set(...)) は、スケジュールされた更新中には適用されません。 代わりに、レイクハウスまたはワークスペース レベルでプロパティを設定します。

関連コンテンツ

• Fabricにおける具現化された湖の眺めとは何ですか?
• 具体化された湖のビューのデータ品質
• マテリアライズド・レイクビューに最適なリフレッシュ