Dataflow Gen2 は、データの整形と変換を簡単に行うのに役立ちます。 コードの少ないインターフェイスと 300 を超える組み込みのデータと AI 変換を提供します。いずれも、Excel、Power BI、Power Platform、Dynamics 365で見つかる使い慣れたPower Queryエクスペリエンスを活用しています。 また、Dataflow Gen2 では、ネイティブワークロードと移行されたワークロードのマッピング データ フロー (MDF) 変換による Spark ベースの変換実行もサポートされています。
この価格は、すべてのFabric容量 SKU (F2 以上) に適用されます。 Fabric試用版の容量には価格は適用されません。 一般的なシナリオにおける実際のCU消費ベンチマークについては、 Dataflow Gen2のコストおよびパフォーマンスベンチマークを参照してください。
データフローを発行すると、更新中に実行される定義が作成されます。 Dataflow Gen2 エンジンでは、その定義を使用して、クエリがデータ ソース、ゲートウェイ、コンピューティング エンジン全体でどのように実行されるかを計画および管理します。 一時保管場所にテーブルが作成されるか、選択した指定先に送信されるため、手間をかけずに信頼性の高い結果が得られます。
この図は、Data Factory Dataflow Gen2 アーキテクチャのコンポーネント (取り込まれるデータのステージングに使用される Lakehouse を含む) と、ステージングまたは出力の高速化に結果を書き込むためのコンピューティング エンジンとして使用される Warehouse 項目を示しています。 Warehouse コンピューティングを使用できない場合、またはクエリのステージングを無効にした場合、マッシュアップ エンジンはデータを抽出、変換、またはステージング先またはデータ変換先に読み込みます。 Dataflow Gen2 のしくみの詳細については、「 Data Factory Spotlight: Dataflow Gen2」を参照してください。
データフロー Gen2 では、マッシュアップ エンジンまたは Spark エンジンを使用してワークロードを実行できます。 データフロー Gen2 内で MDF 変換を使用する場合、変換の実行とデータ処理には Spark を使用したコンピューティングが使用されます。
データフロー Gen2 項目を更新または発行すると、ファブリック容量ユニットは次のエンジンで使用されます。
- 標準コンピューティング: Mashup エンジンを介して実行されるすべてのデータフロー クエリのクエリ評価時間に基づいて課金されます。
- 高スケール データフロー コンピューティング: ステージングが有効になっている場合は、Lakehouse (ステージング ストレージ) と Warehouse (Storage Compute) SQL エンジンの使用期間に基づいて課金されます。
- 高速コピー: 高速コピー コネクタが有効になっており、コピー ジョブの期間に基づいてデータフローで使用できる場合に課金されます。 Fast Copyは複数のコアで並列に動作するため、この持続時間はコピージョブが使用するすべてのコアで費やした合計時間であり、リフレッシュの壁クロック時間ではありません。
- Spark コンピューティング: パイプラインの実行中に MDF 変換が実行されると、Spark の実行時間と Spark コアの使用状況に基づいて課金されます。 Dataflow Gen2 の MDF 変換ワークロードは、現在、Fabric パイプライン データフロー アクティビティを通じて実行されます。
Dataflow Gen2 の価格モデル
価格レートの決定方法
Dataflow Gen2 の価格は、各クエリでコンピューティングがどのように使用されるかによって異なります。 標準コンピューティングの場合、クエリはマッシュアップ エンジンで実行されます。 データフローが Dataflow Gen2 (CI/CD) であるかどうかによって、評価は異なります。
Dataflow Gen2 (CI/CD) では、クエリ期間に 2 層のレートが適用されます。
- クエリが 10 分以内に実行される場合、12 CU で評価されます
- 実行時間が長い場合は、1 秒ごとに 1.5 CU で評価されます。
データフロー Gen2 が CI/CD 以外の場合、レートはクエリ期間全体に 16 CU 適用されます。
Note
パーティション化された計算を使うと、Dataflow Gen2は各パーティションを独立した作業単位として評価します。 標準的な計算料金は、各パーティションの処理時間の合計に基づいています。 パーティションを並列に実行することで、実行完了までの全体の(壁クロック)時間が短縮され、総CU消費量はすべてのパーティションの合計計算量を反映します。
大規模なシナリオでは、ステージングが有効になっている場合、クエリは Lakehouse または Warehouse SQL エンジンで実行されます。 コンピューティング時間の 1 秒ごとに 6 CU 秒が使用されるため、クエリの消費量が長くなります。
高速コピーを有効にすると、アクティビティの実行時間に基づいて、データ移動のレートは 1.5 CU になります。 高速コピーは各シナリオを自動的にバランス調整し、使用するコア数を決定します。請求時間は、更新履歴に表示される壁のクロック時間ではなく、すべてのコアにかかる合計時間です。 より多くのコアに作業を分散させることで経過時間が短縮され、請求期間はコピージョブが使用するすべてのコア分を計上します。
各実行の最後に、Dataflow Gen2 は各エンジンからの CU 使用量を合計し、リージョンの Fabric 容量の価格に基づいて課金します。
CU レート テーブル
| Dataflow Gen2 エンジンの種類 | 消費メーター | Fabric CU 消費率 | 使用状況レポートの粒度 |
|---|---|---|---|
| スタンダードコンピュート (Dataflow Gen2 (CI/CD)) | 各マッシュアップ エンジンのクエリ実行時間 (秒単位) に基づく。 Standard Compute には、クエリの期間に応じて 2 つのレベルの価格があります。 | 1 秒ごとに 10 分間、12 CU - 10 分を超える 1 秒ごとに、1.5 CU |
Dataflow Gen2 の項目ごと |
| Standard コンピューティング (CI/CD 以外) | 各マッシュアップ エンジンのクエリ実行時間 (秒単位) に基づく。 | 16 CU | Dataflow Gen2 の項目ごと |
| ハイスケール データフロー コンピューティング | ステージングが有効になっているレイクハウス/ウェアハウス SQL エンジンの実行時間 (秒単位) に基づく。 | 6 コンピュートユニット (CU) | ワークスペースごと |
| データの移動 | Fast Copy実行時間に基づき、コピージョブが使用するすべてのコアの合計時間を秒単位で計算します。 Dataflowは、各高速コピーシナリオで使うコア数を自動的にバランス調整します。 | 1.5 CU | Dataflow Gen2 の項目ごと |
| マッピング データ フロー変換コンピューティング (プレビュー) | Dataflow Gen2 内で Spark ベースのコンピューティングを使用して、MDF 変換の実行時間 (秒単位) に基づく。 | Spark コア時間あたり 1.5 CU 例: 8 コアの Spark クラスターは、実行時間ごとに 12 CU を消費します (8 × 1.5 CU)。 |
Dataflow Gen2 の項目ごと |
Dataflow Gen2 を使用した仮想ネットワーク データ ゲートウェイの価格
Virtual Network (VNET) データ ゲートウェイは、Fabric 容量に関連付けられた追加のインフラストラクチャ料金として課金されます。 つまり、これは独自の課金メーターを持ち、すべての Fabric アイテムの実行に共通して、かつそれらとは別に料金が発生することを意味します。
Virtual Network Data Gateway 経由で Dataflow Gen2 を実行するための合計請求額は、Dataflow Gen2 Charge + Virtual Network Data Gateway Charge として計算されます。
Virtual Network Data Gateway の料金は、Virtual Network Data Gateway の使用状況に比例します。ここで、使用状況はアップタイムとして定義されます。また、Virtual Network Data Gateway がオンになっている場合は、いつでも使用できます。
仮想ネットワーク データ ゲートウェイの CU 消費率: 4 CU
詳細については、「Virtual Network データ ゲートウェイの価格と課金」をご覧ください。
Microsoft Fabric ワークロードの消費率の変更
従量課金レートは、いつでも変更される場合があります。 Microsoft は、電子メールおよび製品内通知を通じて通知を提供するための合理的な努力を行っています。 変更は、リリース ノートと Microsoft Fabric ブログ に記載されている日付で発効します。 Microsoft Fabric ワークロード従量課金レートの変更により特定のワークロードを使用するために必要な容量ユニット (CU) が大幅に増加する場合は、選択した支払い方法で使用できるキャンセル オプションを使用できます。
Fabric メトリック アプリとデータフロー更新履歴を使用して推定コストを計算する
Microsoft Fabric 容量メトリック アプリでは、容量に関わるすべての Fabric ワークスペースの容量使用状況を 1 か所で可視化できます。 これは、購入した容量と比較して、ワークロードのパフォーマンスとその使用状況を監視するために容量管理者によって使用されます。 Metrics アプリを使用することは、Dataflow Gen2 の更新実行のコストを見積もる最も正確な方法です。 階層化された価格が標準のコンピューティング コストにどのように影響したかを理解するには、データフローの更新履歴も使用する必要があります。
これらの演習では、CI/CD データフローと非 CI/CD データフローの両方のコストを検証する方法を示します。 標準コンピューティングを使用した CI/CD データフローの場合は、動作する例と、その他すべてのシナリオの手順が示されています。
演習 1: CI/CD データフローの標準コンピューティング
次のデータフローには、変換に関連する 2 つのクエリがあり、ステージングは無効になっています。
Dataflow Gen2 では、標準コンピューティングのみが使用されます。
クエリごとに、更新履歴からクエリ期間にアクセスし、次の数式を適用してクエリごとの CU 消費量を計算します。
最初のクエリの期間は 2,131 秒です。
同様に、2 番目のクエリの期間は 913 秒です。
StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)
クエリ 1 の場合、計算される消費量は 9497 CU 秒で、クエリ 2 の場合、計算される消費量は 7670 CU 秒です。
容量消費量を CU 秒単位で集計し、Fabric 容量メトリック アプリでの使用量を検証します。 このシナリオでは、メトリック アプリは 17,180 CU 秒を Standard Compute の使用量として表示します。これは、計算された消費量 17,167 CU 秒とよく比較されます。 これらの不一致は、使用状況の定期レポートにおける丸めによって発生する可能性があります。
演習 2: CI/CD 以外のデータフローの標準コンピューティング
データフローに変換が伴い、ステージングが無効になっている場合、Dataflow Gen2 では標準コンピューティングのみが使用されます。
クエリごとに、更新履歴からクエリ期間にアクセスし、次の数式を適用してクエリごとの CU 消費量を計算します。
StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16
容量消費量を CU 秒単位で集計し、Fabric 容量メトリック アプリでの使用量を検証します。
演習 3: 高スケールのコンピューティング消費量を理解する (CI/CD と CI/CD 以外のデータフローの両方)
データフローでステージングを使用している場合は、使用した高スケール コンピューティングの量を調べるには、Fabric容量メトリック アプリを開き、データフローの名前でフィルター処理します。 名前を右クリックし、操作の一覧で High Scale コンピューティングを探して、期間を確認します。
HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6
演習 4: 高速コピー コンピューティング消費量について (CI/CD データフローと CI/CD 以外のデータフローの両方)
データフローで高速コピーを使用している場合は、使用したデータ移動コンピューティングの量を調べるには、Fabric容量メトリック アプリを開き、データフローの名前でフィルター処理します。 名前を右クリックし、操作の一覧でデータ移動を探して、期間を確認します。
FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5