Microsoft Fabricのレイクハウスとは

Fabricのレイクハウスは、データレイクのスケーラビリティとウェアハウスのクエリ機能を組み合わせています。 構造化データと非構造化データを 1 つの場所に格納し、Delta Lake で管理し、Apache Spark と SQL の両方で分析します。システム間でデータを移動する必要はありません。 OneLakeのショートカットやテナント間データ共有により、外部ソースや他の組織からのガバナントされたデータにも重複せずにアクセスできます。

湖の小屋があなたに与えます:

• データ エンジニアリングワークロードと分析ワークロードの両方のデータの 1 つのコピー
• Delta Lake 形式 は、ACID トランザクション、スキーマの適用、およびタイム トラベルに対応しています。
• Spark と SQL のアクセス により、データ エンジニアはノートブックを使用し、アナリストは T-SQL を使用します
• Power BI、パイプライン、データフロー、およびその他のFabric項目との組み込み統合

レイクハウスと倉庫の違い

Fabricにおけるレイクハウスとウェアハウスの主な違いは、好みの開発ツール、データ型、ワークロードパターンにあります。 どちらも同じ SQL エンジンを共有し、OneLake に Delta 形式でデータを格納しますが、さまざまなシナリオ向けに設計されています。

両方を同じワークスペースで使用できます。たとえば、Spark を使用してレイクハウスにデータを取り込んで変換し、SQL ベースのレポート用にキュレーションされたデータセットをウェアハウスに提供できます。 詳細な案内については、「 倉庫と湖畔の家の選択」をご覧ください。

lakehouseデータの取り扱いを行う

複数のFabric ツールを使用して、lakehouse 内のデータの読み込み、変換、クエリを実行できます。

• OneLakeのショートカット — 外部ソース(テナント間 データ共有を含む)からデータをlakehouseにコピーせずにアクセスできます。 ショートカットは、OneLake 全体の運用データと分析データへの読み取り専用のライブ参照を提供します。 OneLakeのショートカットをご覧ください。

• Lakehouse エクスプローラー - テーブルとファイルの参照、データの読み込み、メタデータの管理をブラウザーで直接行います。 テーブル ビューとファイル ビューを切り替えて、複数の Lakehouse をエクスプローラーに追加できます。 「 Navigation the Lakehouse explorer」を参照してください。

  

• Spark SQL クエリ エクスプローラー - 作業コンテキストを離れることなく、Lakehouse エクスプローラー内で Spark SQL クエリを直接実行します。 クエリ エクスプローラーでは、IntelliSense、動的タブ、クロススキーマおよびクロスレイクハウス クエリ、インライン グラフの視覚化、ビューの作成がサポートされています。 Spark SQL クエリ エクスプローラーを使用したデータのクエリを参照してください。

• Notebooks — Spark コード (Python、Scala、SQL、R) を記述して、Lakehouse のテーブルとフォルダーに対するデータの読み取り、変換、書き込みを行います。 「ノートブックを使用してデータを探索する」と「ノートブックを使用してデータを読み込む」を参照してください。

• パイプライン - コピー アクティビティやその他のデータ統合ツールを使用して、外部ソースから Lakehouse にデータをプルします。 コピー アクティビティを使用したデータのコピーを参照してください。

• Spark ジョブ定義 — 実稼働レベルの ETL 用に、Java、Scala、またはPythonでコンパイル済みの Spark アプリケーションを実行します。 「Apache Spark ジョブ定義とは」を参照してください。

• データフロー Gen 2 — 低コードのビジュアル インターフェイスを使用してデータを取り込んで準備します。 最初のデータフローの作成を参照してください。

取り込みオプションの詳細な比較については、「 Options to Removing the Lakehouse(レイクハウスにデータを取り込むためのオプション)」をご覧ください。

選択したエンジンを使用して Lakehouse データを分析する

Lakehouse リボンには、データの分析方法ドロップダウンがあり、Lakehouse から直接、さまざまな分析エクスペリエンスでデータを開くことができます。

各オプションの詳細やドロップダウンの場所については、「 Navigate the Lakehouse explorer」をご覧ください。

Lakehouse SQL 分析エンドポイント

lakehouse を作成すると、Fabricによって SQL 分析エンドポイントが自動的に生成されます。 このエンドポイントを使用すると、次のことができます。

• T-SQL を使用してデルタ テーブルにクエリを実行 する - 別のウェアハウスを設定せずに、使い慣れた SQL 構文を使用します。
• Power BI に直接接続 — Power BI セマンティック モデルを作成して、レイクハウスデータに関するレポートを作成します。
• 読み取り専用アクセスを共有 する — アナリストとレポート ビルダーは、Spark ワークロードに影響を与えずにデータに対してクエリを実行できます。

SQL分析エンドポイントは読み取り専用で、 ウェアハウスのT-SQL表面全体をサポートしていません。 探索、レポート、およびアドホック クエリに使用します。

テーブルの自動検出と登録

Lakehouse は、データを 2 つの最上位フォルダー (マネージド Delta テーブルのテーブル と、非構造化データまたは非デルタ データ用 のファイル ) に整理します。 Tables フォルダーにファイルを配置すると、Fabricは自動的に以下を行います。

• サポートされている形式 (現在は Delta テーブルのみ) に対してファイルを検証します。
• メタデータ (列名、データ型、圧縮、パーティション分割) を抽出します。
• Spark SQL または T-SQL を使用してすぐにクエリを実行できるように、メタストアにテーブルを登録します。

このマネージド ファイルからテーブルへのエクスペリエンスは、管理領域に格納するデータに対して CREATE TABLE ステートメントを手動で記述する必要がないことです。

lakehouse を使用したマルチタスク

Lakehouseはブラウザタブのデザインを使用しており、場所を失うことなく複数のアイテムを開いて切り替えることができます。

• 実行中の操作を保持する: 別のタブに切り替えると、データの読み込みとアップロードが引き続き実行されます。

• コンテキストを保持する: 選択したテーブル、ファイル、およびオブジェクトは、タブ間を移動しても開いたままです。

• 非ブロッキング リストの再読み込み: ファイルとテーブルの一覧は、作業をブロックすることなくバックグラウンドで更新されます。

• スコープ付き通知: トースト通知は、その通知がどのレイクハウスから来たかを明確にするため、タブ間での更新を追跡することができます。

アクセシビリティの高いレイクハウスのデザイン

Lakehouse では、支援技術とアクセシビリティ対応の対話パターンがサポートされています。

• スクリーン リーダーの互換性: ナビゲーションと操作のために人気のあるスクリーン リーダーと連携します。
• 画像の代替テキスト: すべての画像には、説明的な代替テキストが含まれています。
• ラベル付きフォーム フィールド: すべてのフォーム フィールドには、スクリーン リーダーとキーボード ユーザーのラベルが関連付けられています。
• テキストのリフロー: さまざまな画面サイズと向きに適応する応答性の高いレイアウト。
• キーボード ナビゲーション: マウスなしでレイクハウスをナビゲートするための完全なキーボードサポート。

関連コンテンツ

• Fabricで湖の家を作る
• レイクハウスにデータを取り込むための選択肢
• lakehouse SQL Analytics エンドポイント
• Spark SQL クエリ エクスプローラーを使用してデータをクエリする
• Lakehouse ノートブックを使用してデータを探索する
• 倉庫と湖畔の家のどちらかを選んでください
• OneLake で削除されたファイルを回復する