OneLakeショートカットとミラーリングでデータを統合する

OneLake はクラウド、ドメイン、アカウントをまたいで一つのデータを一つのビューで確認できます。 OneLakeでデータを統合するには、すべてのデータを一箇所に保存する必要はありません。 データはソースに留まることも、OneLakeに複製してFabricワークロードが共有名前空間を通じてアクセスできるようにします。

ショートカットとミラーリングは、データ移動パイプラインの構築や運用をせずにこの統一ビューを作成するためのOneLakeの補完的な機能です。 ショートカットは選択したデータをOneLake名前空間に追加します。 ミラーリングは外部データベースやカタログを追加し、そのデータにその場でアクセス可能か複製が必要かを判断します。 この記事では、各機能がどのように機能し、いつ使うべきかを説明します。 Fabricでデータを取り込み、変換、または移動するより広範な方法については、「Microsoft Fabricへのデータ取得」または「データ移動戦略を選択する」をご覧ください。

ショートカットとミラーリングは一目でわかります

ショートカットやミラーリングは異なる粒度レベルで動作し、異なるソースフォーマットをサポートしています。

もしソースがデータを独自の形式で保存しているなら、ミラーリングが唯一の選択肢です。

ショートカットを使うタイミング

特定のデータをコピーせずに統一されたOneLakeビューに含めたいときはショートカットを使いましょう。 次の場合はショートカットを選択します:

• 単一のテーブル、フォルダ、またはファイルをワークスペースやテナント間で共有します。
• 複数の湖やクラウドアカウントのデータを一つの統一ビューにまとめます。
• 各ドメインが自分のデータを所有し、他のドメインがOneLakeを通じて発見するようなデータメッシュパターンを構築しましょう。
• DeltaやIcebergのようなオープンフォーマットでデータをAzure Data Lake Storage、Amazon S3、Google Cloud Storage、Dataverseから利用可能にしましょう。

ショートカットはテーブル、フォルダ、ファイルレベルで機能します。 どのデータを公開し、OneLakeのどこに表示するかはあなたが決めます。 詳しくは、「OneLake のショートカット」をご覧ください。

統合しながらデータを変換する

ショートカット変換は、ショートカットの背後にあるデータを、ETLパイプラインを構築することなくソースと同期した状態を維持するクエリ可能なDeltaテーブルに変換します。 それらを活用して、データ分析に対応できる状態にしましょう:

• ファイル変換は、CSV、Parquet、JSON、Excelなどの構造化ファイルをデルタテーブルに変換します。 詳細は「 ショートカット変換(ファイル)」を参照してください。
• AI搭載の変換 は、言語処理を .txt ファイルに適用し、内容の要約、感情の検出、言語翻訳、個人識別情報(PII)の編集、または名前のある存在の抽出を行います。 詳細は「 ショートカット変換(AI駆動)」をご覧ください。

ミラーリングを使うタイミング

外部データベースやカタログ、その背後にあるデータをFabricのユニットとして含めたいときはミラーリングを使いましょう。 ミラーリングは、以下のような状況で最適な選択です:

• 別途取り込みプロセスを設計せずに、外部データベースやカタログ全体をFabricで利用可能にしましょう。
• 運用可能な運用データベース(Azure SQL Database、PostgreSQL、Cosmos DBなど)の分析対応コピーをOneLakeに保存し、ソースと同期を保つようにしましょう。
• Surfaceで外部のレイクハウスやウェアハウス(Databricks、Unity Catalog、Snowflakeなど)をFabricで作成し、Fabricデータと一緒にクエリを行えます。

ミラーリングは常にデータベース、スキーマ、テーブルなどのカタログメタデータをFabricに追加します。 Fabricがデータにアクセスする方法は、次のセクションで説明するように、情報源によって異なります。

ミラーリングがOneLakeでデータを提供する方法

ミラーリングは、統一されたOneLakeビューに外部データを含めるために、2つの基盤的な仕組みを用いています。 適切な組み合わせは、ソースがどのようにデータを保存するかによります。

• レプリケーション。 ミラーリングは、データをソースからOneLakeに分析対応可能なDelta形式でコピーします。 ミラーリングは、ソースがデータを独自フォーマットで保存する場合にレプリケーションを使用します。
• ショートカット。 ミラーリングでは、OneLake のショートカット経由で元の場所にあるデータをそのまま参照します。 ミラーリングは、ソースがOneLakeが直接読み取れるオープンフォーマットでデータを保存しているときにショートカットを使用します。

異なる資料はこれらの機構を異なる方法で利用しており、以下の表に示されています。

いずれの場合も、ミラーリングはカタログのメタデータをFabricに追加します。 データもコピーするかどうかは、情報源によって異なります。

ショートカットとミラーリングを組み合わせて使う

ショートカットとミラーリングは相反するものではありません。 多くの場面で組み合わせて使えます。 例えば、ミラーリングを使ってFabricにソースシステムを追加し、その後、そのシステムから選ばれたデータをワークスペース、ドメイン、テナント間で利用可能にするショートカットを作成することができます。 ミラーリングで元のデータをOneLakeに複製する場合、そのデータへのショートカットは新たなコピーを作成したり、ストレージコストを増やしたりしません。

この二つの機能を組み合わせた一般的なパターンには以下のようなものがあります:

• 一度鏡を見て、どこでも消費する。 中央ワークスペースは、Azure SQL DatabaseやSnowflakeアカウントなどの外部データベースやカタログをミラーリングします。 同じテナント内の他のワークスペースは、同じソースを再度ミラーする代わりにミラーされたテーブルへのショートカットがあります。 1つのミラーアイテムがソースを表し、すべてのコンシューマーが同じ最新のデータを読み取ります。
• メッシュ消費を伴うドメインミラーリング。 ドメインチームは自社のソースシステムをドメインワークスペースにミラーリングします。 消費者のワークスペース内の下流の湖のハウスや倉庫は、ミラーされたデータベースから必要なテーブルのみにアクセスするショートカットを使用しています。 各ドメインはソースへの接続を所有しており、消費者はソースシステムから切り離されたままです。
• 1つのレイクハウス、複数のデータロケーション。 単一のレイクハウスには、ミラーされたテーブルへのショートカットや、Azure Data Lake Storage、Amazon S3、または他のOneLake拠点内のオープンフォーマットデータへのショートカットが含まれることがあります。 レポートやノートブックは、基になるデータが元のソースにそのまま残っていても、OneLake に複製されていても、レイクハウスを単一の統合ストアとしてクエリできます。
• テナント間またはクラウド間アクセス。 あるテナントはソースを自分のOneLakeにミラーリングします。 パートナーテナントは、ソースシステムへの直接アクセスを許可される代わりに、ミラーされたデータへのショートカットを作成します。 ソースシステムの認証情報は、プロデューシングテナントから離れることはありません。

これらを組み合わせる際に知っておくべきいくつかのポイント:

• ミラーテーブルへのショートカットはミラーアイテムのセキュリティモデルを引き継ぎます。 ミラーリングされたデータベース、スキーマ、またはテーブルの権限は、ショートカット経由でアクセスするすべてのユーザーに適用されます。 詳細については、「 OneLake ショートカット セキュリティ」を参照してください。
• ミラーテーブルへのショートカットは読み取り専用です。 データを変更するには、ソースシステムを変更し、ミラーリングで更新を伝播させます。
• ミラー送信元が一時停止、削除、またはレプリケーションエラーが発生した場合、それに向けられるショートカットはすべて同じ状態を示します。 ミラーアイテムの所有権と監視を計画しましょう。

データ移動を代わりに使うべき場合

ショートカットやミラーリングはOneLakeを通じてデータを利用可能にし、ショートカット変換はデータを分析対応可能なDeltaテーブルに変換できます。 これらはFabricのインジェストやデータ移動ツールの全セットの代替ではありません。 必要に応じてパイプライン、データフロー、コピージョブ、イベントストリームを選択します:

• ショートカット変換を超えた複雑な変換ロジック(例えば、ソースの結合、ビジネスルールの適用、スキーマの再形成など)を適用しましょう。
• 自分のリズムに合わせて動きをスケジュール、調整、またはトリガーしてください。
• OneLake以外の目的地にデータを移動させてください。
• イベントをリアルタイム処理のためにFabricにストリーム化します。

これらのシナリオでは、OneLakeの統合だけでなく、Fabricのデータ移動や統合ツールが必要です。

• データをFabricに取り込むあらゆる方法のエンドツーエンドビューについては、「Microsoft Fabricにデータを取り込む」をご覧ください。
• パイプライン、コピージョブ、ミラーリング、イベントストリームの直接比較については、「 データ移動戦略の選択 」意思決定ガイドをご覧ください。

関連するコンテンツ

• OneLake のショートカット
• Fabricでのミラーリングとは何ですか？
• Microsoft Fabric にデータを取り込む
• データ移動戦略を選択してください