Dataflow Gen2 のステージング データ オプション

Note

この記事で説明するステージング データ オプションは現在プレビュー段階です。

クエリで staging を有効にすると、Dataflow Gen2 は中間結果を内部ステージング Lakehouse に書き込み、エンジンが変換にFabricコンピューティングを使用したり、変換先にデータを格納したりできます。

データフロー スケール設定の [Staged Data ] セクションでは、そのパイプラインの 2 つの側面を調整できます。

  • Lakehouse への最適化されたコピー (プレビュー) — 段階的なデータを Fabric Lakehouse データ変換先に書き込むには、より高速なパスを使用します。
  • V オーダー圧縮を有効にする (プレビュー) - ステージング Lakehouse に書き込まれたデータに V オーダー圧縮を適用します。

どちらのオプションもデータフロー レベルで適用され、Dataflow Gen2 でのみ有効になります。

設定を検索する場所

  1. Power Query エディターでデータフローを開きます。
  2. メニューから [オプション] を 選択します。
  3. [ スケール ] タブに移動します。
  4. 2 つの設定は、[ ステージング データ] の下に表示されます。

[スケール] タブが選択され、[ステージング データ] セクションが強調表示されている [オプション] ダイアログのスクリーンショット。

Lakehouse への最適化されたコピー (プレビュー)

このオプションがオンの場合、Dataflow Gen2 は、次のクエリに最適化されたデータ移動パスを使用します。

  • ステージングを有効にして、
  • Fabric Lakehouse データ保存先に書き込みます。

既定のパスでは、追加のシリアル化とネットワーク ホップを使用して、ステージング ウェアハウスから Lakehouse にデータが流れます。 最適化されたパスは、これらのホップを減らし、Lakehouse に存在するステージング負荷の高いデータフローの更新時間を大幅に短縮できます。

このオプションのリフレッシュ時間とCU消費の影響の測定例については、Dataflow Gen2のコストおよびパフォーマンスベンチマークにおける シナリオ3:最適化されたLakehouseコピー を参照してください。

いつ使用するか

最終的に Fabric Lakehouse データ変換先に格納されるクエリをステージングするときに、これをオンにします。 ステージングは、次の場合に最も役立ちます。

  • クエリには、ソースにフォールドされない変換が含まれています。
  • 宛先に書き込む前に、結合、グループ化、フィルター処理などの負荷の高い処理を実行するために、Fabric のステージング コンピューティング (Lakehouse または Warehouse) を利用したいと考えています。

ステージングが役立つ場合の詳細については、 Dataflow Gen2 で最適なパフォーマンスを得るためのベスト プラクティスを参照してください。

既定の動作

このオプションは 、既定ではオフになっています。 データをステージングし、Fabric Lakehouse に書き込むほとんどのデータフローでは、このオプションをオンにすると有益です。

Considerations

  • このオプションは、ステージングが有効になっているクエリと、Fabric Lakehouse データ変換先への書き込みでのみ有効になります。 他の宛先 (Fabric Warehouse、Fabric SQL データベース、Azure SQL、Snowflake、KQL、Azure Data Lake Storage Gen2、ファイルの変換先) に書き込むクエリの場合、このオプションは無効です。
  • クエリのステージングを無効にした場合、最適化されたコピー パスはそのクエリには適用されません。
  • このオプションは、データフロー内のすべての条件を満たすクエリに適用されます。 現時点では、クエリごとのオーバーライド機能はありません。

V オーダー圧縮を有効にする (プレビュー)

V オーダーは Parquet ファイル形式の書き込み時間の最適化であり、ダウンストリーム Fabric エンジンの読み取りパフォーマンスが向上し、書き込み中に CPU が追加されます。 バックグラウンドとクロスエンジンのガイダンスについては、Delta Lake テーブルの最適化と V オーダーとワークロード間のテーブルのメンテナンスと最適化に関するトピックを参照してください。

このオプションがオンの場合、Dataflow Gen2 は ステージング Lakehouse に書き込まれたデータに V オーダー圧縮を適用します。 オフの場合、ステージング データは V オーダーなしで書き込まれます。

ステージングの V オーダーをオンまたはオフにするタイミング

ステージング Lakehouse には、Dataflow Gen2 自体でのみ使用される中間データが保持されます。データフローは、同じ更新中にステージング されたデータを再読み取りして、さらに変換を適用したり、変換先に書き込んだりします。また、他の項目がデータフローの出力を照会するときに、Dataflow コネクタはステージング されたデータから読み取ります。 エンド ユーザー クエリ エンジン (Power BI Direct Lake、Fabric Warehouse、SQL 分析エンドポイント、Spark) は、ステージング Lakehouse を直接読み取りません。 これらのシナリオは、代わりにLakehouse データ送信先に適用されます。 宛先のガイダンスについては、「 Lakehouse の宛先で V オーダー圧縮を有効にする」を参照してください。

ステージング データは通常、同じ更新内で数回読み取られるので、ほとんどのデータフローでは、ステージングに 対して V オーダーをオフに することをお勧めします。 V オーダーをスキップすると、書き込み時間の CPU が短縮され、更新期間が短縮されます (特に、大規模なステージング書き込みの場合)。 データフローのステージング出力がデータフロー コネクタを介して何度も消費され、ステージング書き込みコストよりもダウンストリーム クエリの読み取りパフォーマンスを優先する場合は、ステージング用に V オーダーを オンにすることを検討してください。

既定の動作

このオプションは 既定でオンになっています。 上記のガイダンスを使用して、データフローに適したものを決定します。

その他の V オーダーが適用される場所

ステージング Lakehouse を制御するデータフロー レベルの設定に加えて、V Order は、V オーダー圧縮の詳細オプションの 使用を有効に することで、Lakehouse データ変換先接続自体で制御することもできます。 この設定では、コピー先の Lakehouse に書き込まれたデータが V オーダー圧縮されているかどうかを制御します。 宛先は、Direct Lake、Fabric Warehouse、SQL 分析エンドポイント、および Spark によって読み取られたサーフェスであるため、変換先レベルのガイダンスはシナリオベースです。

変換先レベルのオプションの詳細については、「 Lakehouse 変換先で V オーダー圧縮を有効にする」を参照してください。

関連するコンテンツ

  • Last updated on