ファブリックの具現化されたデータレイクビューの系譜を管理する

ファブリックマテリアライズド レイク ビュー (MLV) は、クエリ結果を事前計算して格納することで、大規模なデータセットの管理とクエリを行うのに役立ちます。 Fabric では、系列は依存関係を理解し、MLV をより確実に運用できるようにフローを更新するのに役立ちます。

この記事では、系列を表示し、系列インターフェイスを理解し、拡張系列を使用して、レイクハウス間の依存関係をトレースする方法について説明します。

系列の表示

具体化されたレイク ビューの系列は、更新操作の依存関係の順序を示します。 MLV の場合、系列は、新しいデータが使用可能になったときに実行する必要があるビューのシーケンスを表します。

FabricでMLVを作成した後、リボンの「Materialized lake views」タブを選択し、管理を選択してMLVの系譜に移動します。

具体化された湖の景色の系列

ノートブック コードは系列 (MLV フロー) を定義し、エンドツーエンドの MLV フローを作成すると Fabric によって作成されます。

Von Bedeutung

系列ビューでは、すべてのショートカットがソース エンティティと扱う。 系列ビューは、ショートカット スキーマ内のすべてのテーブルまたは具体化されたレイク ビューをソース エンティティとして扱います。

ジョブ グラフを系列で示すスクリーンショット。

系譜を実行するには、更新要件に基づいてスケジュール設定します。 ジョブがスケジュールされたら、現在の実行に移動して系列の実行を表示します。

実行された系列ビューを示すスクリーンショット。

系列ビューを理解する

具体化された湖ビュー系列ビューでは、システムは依存関係の順序でデータを処理します。 具体化された各レイク ビューは、操作 (ソース テーブルからの読み取りや変換の実行など) を表します。 矢印は、各依存関係と実行順序の性質を示します。

具体化されたレイク ビューを選択して、上流と下流のリレーションシップを検査します。

系列ページには、次のアクションが含まれています。

  • 更新: 系列ビューを更新して、最近の状態の変更を反映します。

    このアクションでは、系列ビューのみが更新されます。 データは更新されません。 系列ビューは、実行が進行中でブラウザー タブがアクティブになると、2 分ごとに自動更新されます。

    系列 UI を更新する方法を示すスクリーンショット。

  • 系列で検索: 系列グラフ内の名前で特定の具体化されたレイク ビューまたはテーブルを検索します。

リネージ UI 内での検索方法を示すスクリーンショット。

  • 新しい具体化されたレイク ビュー: MLV を作成または変更できるノートブックを開きます。

    これらのノートブックは、系列ビューに直接リンクされていません。

    新しい具体化された湖のビューを示すスクリーンショット。

  • スケジュール管理:スケジュール管理ペインを開き、更新スケジュールを作成または管理します。

    スケジュール ボタンを示すスクリーンショット。

  • 系列のリセット: 現在の画面サイズの系列レイアウトをリセットします。

    系列ビューのレイアウトを切り替える方法を示すスクリーンショット。

拡張系列を表示する

標準的な系列は、現在のレイクハウスとそのすぐ上流のレイクハウスまたはソース (1 レベルの深さ) のコンテキストでの依存関係を示しています。 拡張系列 では、そのビューが拡張されるため、すべての依存関係をそのソースまで、つまりレイクハウス間で再帰的にトレースできます。

標準系列 拡張系列
スコープ 現在のレイクハウス+ 1レベルのクロスレイクハウスの両親 すべてのレイクハウスにまたがる完全な再帰的チェーン
アップストリームMLV リーフ ノードとして表示される — 何がフィードを提供しているのかが表示されない 完全に拡張 — すべてのアップストリーム ビューとそのソースが表示されます
クロスレイクハウス 表示なし アップストリーム ワークスペースで読み取りアクセス権がある場合に表示されます

拡張系列を表示するには:

  1. 具体化されたレイク ビューの [ 管理 ] タブを開きます。

  2. ツール バーの [拡張系列 ] トグルをオンにします。

系列が更新され、他のレイクハウスの具体化されたレイク ビューやソース テーブルなど、すべてのアップストリーム依存関係が表示されます。 グラフ内の各ノードには、その名前と lakehouse が表示されます。 ノードの種類 (テーブル、ショートカット、または具体化されたレイク ビュー) はアイコンで示されます。

アップストリームの依存関係は、少なくとも読み取りアクセス許可があるワークスペースでのみ表示できます。 アクセスできないワークスペース内の依存関係は、障害が発生したノードとして表示されます。

障害が発生したノード

アップストリームの依存関係が見つからない、削除された、またはアクセスできない場合は、系列グラフに 障害が発生したノード として表示されます。 障害が発生したノードには、問題を説明するメッセージ ("不足しているかアクセスできない" など) と共にエラー インジケーターが表示されます。

レイクハウス間実行

拡張リネージにより、複数のレイクハウスにまたがる実行が可能になります。 1 つのレイクハウスで、複数のレイクハウス (他のワークスペース内のレイクハウスを含む) 全体のテーブルを参照する具体化されたレイク ビューを定義および更新できるため、それぞれに変換ロジックを複製する必要がなくなります。

たとえば、ブロンズ、シルバー、ゴールドの 3 つのレイクハウスがある場合は、ソース テーブルまたはブロンズとシルバーの具体化された湖のビューを参照しながら、Gold Lakehouse 内のすべての具体化された湖のビューを定義できます。 これらのレイクハウスは、同じワークスペースまたは異なるワークスペースに配置できます。 Fabric は更新時に複数のレイクハウスにまたがる読み取りを処理するので、3セットではなく1セットの定義を管理できます。

上流のマテリアライズド・レイクビューをスケジュールする

拡張リネージ ビューから、上流の各レイクハウスに個別に移動しなくても、他のレイクハウス内にある上流のマテリアライズド レイク ビューの更新をスケジュールできます。 スケジュールまたはアドホック実行を作成する際に、更新に含めるレイクハウスを選択できます。 詳細については、「 具体化されたレイク ビューの更新をスケジュールする」を参照してください。

拡張リネージのアクセス許可

アクション 必要な権限
拡張系列を表示する アップストリームワークスペースへの読み取りアクセス
上流のマテリアライズド・レイクビューをスケジュールする 上流レイクハウスの貢献者
アップストリームの依存関係の詳細を表示する アイテムの読み取り権限