Microsoft Fabric Dataflow Gen2 提供多種有效資料的匯入、轉換與載入方式。 這些方法有助於你在 效能、 可擴展性與 成本之間取得平衡。
本文為 Dataflow Gen2 的效能與成本參考資料。 它針對四種常見工作負載進行效能基準測試——大量複製、高強度資料塑形、將資料最佳化寫入湖倉,以及合併分割檔案——並根據容量遙測資料,報告執行時間以及每項工作負載所耗用的容量單位(CU)。 用它來估算你自己的更新成本,並選擇適合每個工作負載的功能。
在大規模上,Dataflow Gen2 在速度與成本上遠勝 Dataflow Gen1,且工作負載越大,差距越大。 在相同的 Fabric 容量上,針對相同的資料執行相同的 M 指令碼時,Dataflow Gen2 在本文的所有基準測試中,完成速度都比 Dataflow Gen1 基準快 1.7× 到 21×。 在所有測量兩代容量消耗的情境中,Dataflow Gen2 完成相同工作的速度都更快,同時消耗的 容量單位少了 82% 到 95%,因此,速度提升並不是以額外的容量消耗為代價。 你同時獲得兩者的好處,且不需重寫任何查詢。
你能獲得多少取決於你的工作量,而最大的因素是查詢的持續時間。 標準計算將每個查詢的前 10 分鐘計費為每秒 12 CU,之後每秒收取 1.5 CU,因此查詢執行時間越長,平均每秒成本越低。 短資料流會在第一層結束,且永遠無法達到較低的速率,因此兩代之間的差異很小。 這些提升會隨著資料量和執行時間而成長,因此本文的基準測試使用大型、高容量的資料集和長時間的刷新。
Dataflow Gen2 光憑目前的定價與功能也持續變得更便宜:相較於 2026 年以前相同工作負載所需的 CU 耗用量,目前的定價與功能可依工作負載不同,將 CU 耗用量估計降低約 14% 到 84%。
備註
本文中,成本與容量以 Fabric 容量單位(CU)來衡量。 關於 Dataflow Gen2 如何消耗 CU,以及這如何與帳單相對應,請參見 Dataflow Gen2 定價。 這些基準測試與 CU 數值反映了目前 Dataflow Gen2 的定價模型和功能,包括分層式 Standard Compute 定價、Fast Copy 和 Modern Evaluator。 由於資料流第二世代的效能與成本效益隨時間提升,2026年前公布的數據可能無法反映當前行為。
以下功能協助您優化資料流:
- 快速複製 ——加速大量資料的傳輸,避免轉換。
- 現代評估器 – 加速非可摺疊查詢的大量資料整形。
- 暫存查詢 – 在套用轉換前將資料置於中間層,實現 ELT 模式。
- 最佳化複寫到 Lakehouse – 加快在 ELT 工作負載中將暫存資料寫入 Lakehouse 目的地的速度。
- 分區計算 (預覽)— 跨大型且分割資料集進行規模轉換。
本文涵蓋常見使用案例、實際案例及基準測試結果,幫助您選擇適合工作負載的功能。
Dataflow Gen2 會分別向每個引擎收費,並依目前的費率進行:
- 標準計算(混搭引擎查詢)-每次查詢在前 10 分鐘內每秒為 12 CU,之後每增加 1 秒則為 1.5 CU。
- 快速複製(資料移動)- 每進行 1 秒的複製作業計 1.5 CU,並以所使用的所有核心合計計算。
完整費率模型請參見 Dataflow Gen2 定價。
快速參考
將你的工作負載與正確的 Dataflow Gen2 能力相匹配。 關於每個案例的基準範例,請參考連結的情境。
| 能力 | 使用於當......時 | 主要優點 | Benchmark |
|---|---|---|---|
| 快速複製 | 你需要從支援來源直接、高吞吐量的複製品,且不需轉換。 | 更快的擷取速度與較低的運算成本。 | 情境一:複製資料 |
| 現代評估者 | 你是在從不可摺疊或部分可摺疊的連接器(濾波器、推導、淨化)來塑造資料。 | 執行速度更快且不改變邏輯。 | 情境二:大量資料整形 |
| 已最佳化複製到 Lakehouse | 你啟用了寫入 Lakehouse 目的地的查詢中的暫存。 | 在寫入分階段資料到湖屋時,能最大化吞吐量。 | 情境三:將複製作業最佳化至 Lakehouse |
| 分區運算 (預覽) | 你正在轉換大型、分割或多檔案的資料集,這些資料可以平行執行。 支援時可與 Modern Evaluator 結合使用。 | 跨分割區的平行執行。 | 情境四:合併檔案 |
備註
關於查詢評估與查詢摺疊的背景,請參見查詢摺疊基礎。
基準成績摘要
本文大多數情境使用 紐約市計程車與禮車委員會(TLC)行程資料集 – TLC 行程紀錄資料 集:數十億計程車行程記錄以 Parquet 檔案形式儲存在 ADLS Gen2,涵蓋 2021–2025 年(截至八月)。 情境 3 使用 Fabric 湖倉資料表,其中包含約 1.13 億筆紐約市計程車行程記錄,時間涵蓋 2017 年至 2018 年年中。 目的地是 Fabric 湖邊屋或倉庫,視情境而定。
下表總結了所有情境下的基準結果。 每個情境也包含一個資料流Generation 1基線用於比較。
| Scenario | 其功能是什麼 | 功能已啟用 | Gen2 執行時間 | 加速與第一代基準比較 | 第一代 CU | Gen2 計算單元 | Gen2 上的 CU 減少 |
|---|---|---|---|---|---|---|---|
| 情境一:複製資料 | 將五個整合後的 Parquet 檔案從 ADLS Gen2 大量載入至 Lakehouse,且不進行任何轉換。 | 快速複製 | 00:09:08 | 11×快一點 | 84,411 | 14,593 | 83% |
| 情境二:大量資料整形 | 對一個載入湖屋的大型 Parquet 檔案套用不可摺疊的變換(篩選、推導、清理)。 | 現代評估者 | 00:46:29 | 1.7×更快 | 56,855 | 10,485 | 82% |
| 情境三:將複製作業最佳化至 Lakehouse | 將 Fabric lakehouse 中一個包含 1.13 億列資料的紐約市計程車資料表進行轉換,並透過加速複製路徑將結果寫入 lakehouse 資料表。 此基準測試使用最佳化複製到 Lakehouse 與 V-Order。 | 優化版副本至 Lakehouse | 00:03:34 | 快15× | 50,788 | 2,391 | 95% |
| 情境四:合併檔案 | 將 56 個分割的 Parquet 檔案並行合併並轉換,並載入倉庫。 | 分區運算(預覽) | 00:04:48 | 21×更快 | 沒有被測量 | 沒有被測量 | 沒有被測量 |
下圖比較了相同情境的容量消耗而非執行時間。
關於各能力的逐步細節、資料集配置及設計模式,請參閱以下情境章節。
備註
除非另有明確說明,本文中所有情境均啟用 現代評估器 ,並關閉 V-Order 。 Gen1 CU 和 Gen2 CU 欄位顯示容量單位秒。 Gen2 欄位的 CU 減少是指從 Dataflow Gen1 基線到最佳 Dataflow Gen2 配置的 CU 秒數下降,計算方式為 (Gen1 CU − Gen2 CU) ÷ Gen1 CU。
我們如何衡量這些基準
每個案例都會執行相同的 M 指令碼兩次:一次是在 Dataflow Gen1 上執行,以建立基準;另一次是在啟用受測功能的 Dataflow Gen2 上執行。
本文中的每次執行皆採用相同的測試條件:
- 所有情境與兩個世代皆在相同的 Fabric 容量上執行,因此沒有任何結果反映的是不同的容量大小或 SKU。
- 未涉及資料閘道。 每個連線都直接從 Fabric 服務連接到雲端資料來源。
- 每個情境在 Dataflow Gen1 與 Dataflow Gen2 執行時,都使用相同的來源資料和相同的 M 腳本。
報告的數據含以下意義:
- 執行時間 是報告資料流執行的總刷新時間。
- 所消耗的 CU 是指該跑線計費到容量上的容量單位秒數,這些數據是從 Microsoft Fabric 容量指標應用程式讀取的。 由於 Dataflow Gen2 會分別計費每個引擎,情境總數是更新期間所有引擎的總和,CU 數據則四捨五入至最接近的整 CU 秒。 完整費率模型請參見 Dataflow Gen2 定價。
比較兩代時,請記住以下建築上的差異:
- Dataflow Gen1 採用與 Dataflow Gen2 根本不同的架構,且不支援快速複製、現代評估器、優化複製到 Lakehouse 或分割運算等功能。
- Dataflow Gen1 只能以 CSV 檔案載入資料,而 Dataflow Gen2 在這些情境下則以 Parquet 檔案載入資料。
備註
這些數據是在我們2026年8月的測試環境中記錄的,僅適用於這些特定的運行。 你自己的結果會因資料量、容量大小和配置而異。 若要衡量自己的工作負載,請參閱使用 Fabric Metrics 應用程式的計算預估成本及資料流刷新歷史。
情境一:複製資料
紐約市計程車分析團隊需要將數百萬筆來自 ADLS Gen2 的原始 Parquet 行程紀錄載入 Fabric 湖邊別墅。 團隊不需要任何轉換,只需直接複製以支援下游分析。
Challenges
- 快速將大量 Parquet 資料匯入湖倉。
- 減少每日更新的資料導入時間。
- 將計算成本最小化,以處理簡單的提取-加載(EL)工作負載。
Dataset
按年份合併的紐約市黃計程車Parquet檔案,五個合併分割區(2021–2025年8月)。
解決方法
團隊在 Dataflow Gen2 啟用 了快速複製 功能。 Fast Copy 優化資料移動路徑,並將寫入操作對於支援的連接器進行平行化處理。
Design
此查詢將五年的 Parquet 檔案合併,並將結果載入湖畔小屋。
Fast Copy 注意事項
- 支援 .csv 與 .parquet 檔案格式。
- 支援 每個資料表每次執行最多 100 萬列 的 Azure SQL 資料庫。
- 最適合用於轉換前的 擷取-載入(EL) 工作流程。
Results
啟用快速複製後,Dataflow Gen2 會比 Dataflow Gen1 基線快約 11× 倍(00:09:08 對比 01:38:59),同時降低計算使用量。 沒有快速複製,Dataflow Gen2 在相同工作負載下已經比 Gen1 快約 2.8×。
| 組態 | 執行時間 (hh:mm:ss) | 與第一代的比較 | 已消耗的 CU |
|---|---|---|---|
| Dataflow Gen1 基線 | 01:38:59 | — | 84,411 |
| 無快速複製的 Dataflow Gen2 | 00:35:25 | 2.8×更快 | 沒有被測量 |
| 具快速複製的 Dataflow Gen2 | 00:09:08 | 11×快一點 | 14,593 |
當您啟用快速複製(這是此案例中最理想的 Dataflow Gen2 設定)時,在情境 1 中,將五個整合後的 Parquet 檔案透過快速複製擷取至 Lakehouse,會耗用 14,593 個 CU 秒。 下表依操作細分該總數:
| 作業 | 引擎(儀表) | CU 秒 (如有需要,請提供 CU 的詳細說明) |
|---|---|---|
| 數據移動 | 快速複製 | 8,280 |
| 執行查詢 | 標準計算 | 6,313 |
| 總計 | 14,593 |
快速複製的資料移動會以每進行 1 秒複製活動收取 1.5 CU 的費率計費,並以複製作業執行所在所有核心的累計總時間來計算。 Dataflow Gen2 會自動平衡每個 Fast Copy 案例所使用的核心數量,因此即使複製作業在實際經過時間上很快完成,仍可能耗用大量核心秒。 剩餘的查詢時間會以標準計算方式計費(每秒 12 CU,最多 10 分鐘,然後每額外一秒 1.5 CU)。 完整費率模型請參見 Dataflow Gen2 定價。
重點摘要
- 啟用快速複製後,將原本耗時 99 分鐘的資料擷取縮短至約 9 分鐘,在相同的資料集和 M 指令碼下,實現了數量級的效能提升。
- Dataflow Gen2 在相同工作上也比 Dataflow Gen1 少 83% 的容量 (14,593 對 84,411 CU 秒),因此加速並不會以額外運算為代價。
- 速度提升來自可略過混搭引擎的原生平行化資料移動,因此僅適用於符合 快速複製必要條件 的擷取-載入步驟。 任何打破摺疊的變形則會退回至標準引擎,並失去原有的效能提升。
- 對於支援的來源,將 Fast Copy 視為匯入的預設,較為繁重的轉換引擎(後續情境會介紹)則留作實際重塑資料的步驟使用。
情境二:大量資料整形
資料擷取完成後,團隊會先進行篩選、空值取代和代碼對應,然後再將資料載入 Lakehouse。 這些變身並未完全回歸 Parquet,記憶緩慢。
Challenges
- 提升半可摺疊或非摺疊查詢的轉換速度。
- 維持無程式碼的 Power Query 撰寫功能。
- 減少整體刷新時間與成本。
Dataset
2021 至 2025 年 8 月的所有 Parquet 檔案合併為一個合併檔案。
解決方法
團隊啟用了 Modern Evaluator,一款高效能執行引擎,專為 ADLS Gen2 和 SharePoint 等連接器設計,實現高效轉換。
Design
此查詢會從合併的 Parquet 檔案中擷取資料,過濾 trip_distance 和 fare_amount 欄位以保持值高於 0,將 null passenger_count 替換為 1,並在將資料載入 lakehouse 前,透過映射支付類型建立新 payment_method 欄位。
現代評估者的考量
- 預期刷新時間可能會 大幅加快 (視資料集和轉換而異)。
- 針對大量資料(數百萬列)進行優化。
- 對於不能折疊的查詢特別有利。
- 更快的寫入目的地,比如湖邊小屋。
Results
啟用 Modern Evaluator 後,Dataflow Gen2 執行此塑形工作負載的速度比 Dataflow Gen1 基準快約 1.7 倍(00:46:29 對比 01:19:56),同時保留無程式碼 Power Query 體驗。 沒有現代評估器,同樣的工作量也只比第一代快約1.2×(01:08:37對比01:19:56)。
| 組態 | 執行時間 (hh:mm:ss) | 與第一代的比較 | 已消耗的 CU |
|---|---|---|---|
| Dataflow Gen1 基線 | 01:19:56 | — | 56,855 |
| 無現代評估器的 Dataflow Gen2 | 01:08:37 | 1.2×更快 | 沒有被測量 |
| Dataflow Gen2 搭配現代評估器 | 00:46:29 | 1.7×更快 | 10,485 |
當您啟用 Modern Evaluator(也就是此案例中最理想的 Dataflow Gen2 組態)時,在情境 2 中,使用 Modern Evaluator 將單一大型 Parquet 檔案整理並載入湖倉會耗用 10,485 CU 秒。 下表依操作細分該總數:
| 作業 | 引擎(儀表) | CU 秒 (如有需要,請提供 CU 的詳細說明) |
|---|---|---|
| 執行查詢 | 標準計算 | 10,485 |
| 總計 | 10,485 |
此作業完全在標準運算(Standard Compute)上執行,並採兩級計費:前 10 分鐘內每秒 12 CU,之後每增加 1 秒收取 1.5 CU。 下表顯示了這些層級間的計費時長與CU總額的分布:
| 計費層級 | 計費持續時間 | 率 | CU 秒 (如有需要,請提供 CU 的詳細說明) |
|---|---|---|---|
| 前10分鐘 | 00:10:00(600秒) | 每秒 12 CU | 7,200 |
| 超過 10 分鐘 | 00:36:29(2,189.8秒) | 每秒 1.5 CU | 3,284.7 |
| 總計 | 00:46:29(2,789.8秒) | 10,484.7 |
此表將實測總值顯示到小數點後一位,讓各層級加總後能完全吻合;本文其餘部分則將其四捨五入為 10,485 CU 秒。
這個分段顯示第一級費率對帳單的主導程度:前 10 分鐘只約佔整個執行時間的 22%,卻約佔 CU 秒數的 69%,因為這些秒數中的每一秒成本都是第二級費率中每秒成本的八倍。 超過 10 分鐘後的所有部分——也就是一次較長的 shaping 作業中的大部分內容——都按較低的 1.5 CU 費率計費。 現代評估器是透過縮短帳單期限來進一步降低費用,而非改變費率。 完整費率模型請參見 Dataflow Gen2 定價。
重點摘要
- 若沒有 Modern Evaluator,Dataflow Gen2 在這個塑形工作負載下,僅比 Dataflow Gen1 基線快約 1.2×。 啟用現代評估器後,效能提升至比第一代快約 1.7×,且在相同的 M 腳本與資料集上。
- 節省的容量大於節省的時間:Dataflow Gen2 完成速度快 1.7×,且消耗的容量比 Dataflow Gen1 少 82% (10,485 對 56,855 CU 秒)。
- 這種效能提升來自於非可摺疊與半可摺疊查詢的執行路徑更有效率。 Power Query 傳統上花最多時間在這些查詢上,尤其是當你使用 ADLS Gen2 和 SharePoint 這類連接器時。 增益會隨行數和形狀複雜性而成長。
- 對於查詢無法完全折疊回資料來源、且需要大量資料塑形的流程,請使用 Modern Evaluator 作為預設值。 資料集越大,且你在引擎內套用的轉換越多,你應該預期的影響力就越大。
情境三:優化複製到 Lakehouse
紐約市計程車分析團隊會轉換大型資料表,並將結果寫入 Fabric Lakehouse。 將該磁碟區寫入目標位置是重新整理過程中最慢的部分,因此團隊希望在不改變轉換邏輯的情況下加快寫入。
Challenges
- 快速將大型轉換結果寫入 Lakehouse 目的地。
- 避免目的地寫入作業成為重新整理的瓶頸。
- 保留無程式碼的 Power Query 體驗及現有的轉換邏輯。
Dataset
Fabric Lakehouse 表格,收錄約 1.13 億條紐約市計程車行程紀錄,涵蓋 2017 年至 2018 年中。
解決方法
團隊開啟 啟用暫存 ,並在單一查詢中啟用 Optimized copy 到 Lakehouse ,該查詢會寫入 Lakehouse 目的地。 最佳化複製到 Lakehouse 會透過加速路徑將暫存結果移至 Lakehouse。
Design
基準資料流程使用已開啟 Enable staging 的單一查詢,並以使用 V-Order 的 Lakehouse 作為目的地。 查詢會從 Fabric Lakehouse 讀取約有 1.13 億筆資料列的紐約市計程車資料表,依上車日期與時間排序資料列,並新增兩個衍生欄位——上車月份的起始日,以及 MTA 稅和改善附加費的總和。 由於已啟用預備區,最佳化複製到 Lakehouse 會透過加速路徑將轉換後的結果寫入 Lakehouse 目的地,因此執行時間更快。
最佳化複製到 Lakehouse 的考量事項
- 這需要在查詢上 啟用 Enable staging 並設定 lakehouse 目的地。 欲了解更多資訊,請參閱 Dataflow Gen2 的暫存資料選項。
- 它可在不變更轉換邏輯的情況下,加快將資料寫入 Lakehouse 的速度。
- 將它與目的地的 V-Order 結合,以優化輸出以供下游分析。
Results
當您啟用最佳化複製到 Lakehouse 時,Dataflow Gen2 可在不變更轉換邏輯的情況下,以比 Dataflow Gen1 基準快約 15 倍的速度完成此次重新整理(00:03:34,相較於 00:53:20)。 沒有它的話,同樣的分階段資料流比第一代快約 3.6×。
| 組態 | 執行時間 (hh:mm:ss) | 與第一代的比較 | 已消耗的 CU |
|---|---|---|---|
| Dataflow Gen1 基線 | 00:53:20 | — | 50,788 |
| 使用暫存的 Dataflow Gen2 + V-Order(沒有最佳化複製到 Lakehouse) | 00:14:45 | 3.6×更快 | 沒有被測量 |
| Dataflow Gen2 帶分階段 + 優化複製到 Lakehouse + V-Order | 00:03:34 | 快速提升15倍 | 2,391 |
當你啟用暫存、最佳化複製到 Lakehouse 以及 V-Order——這是此情境中最理想的 Dataflow Gen2 設定——情境 3 中將 1.13 億列的 NYC 計程車資料表重新整理至 lakehouse 資料表,可在 00:03:34 內完成,並耗用 2,391 CU 秒。 下表依操作細分該總數:
| 作業 | 引擎(儀表) | CU 秒 (如有需要,請提供 CU 的詳細說明) |
|---|---|---|
| 執行查詢 | 標準計算 | 2,391 |
| 總計 | 2,391 |
此作業全部按標準計算計費(前 10 分鐘內每秒 12 CU,之後每增加 1 秒為 1.5 CU)。 最佳化後複製到 Lakehouse 的作業會透過 Mashup 引擎執行,因此沒有獨立的計量。 完整費率模型請參見 Dataflow Gen2 定價。
重點摘要
- 最佳化複製到 Lakehouse 可加速將轉換後的結果寫入 Lakehouse 目的地,將重新整理時間從 00:14:45(未使用此功能時)縮短至 00:03:34,也就是比未使用此功能的相同資料流程快約 4 倍,且比 Dataflow Gen1 基準(00:53:20)快約 15 倍。
- 本文中,此情境相較於 Dataflow Gen1 帶來最大容量節省:Dataflow Gen2 的容量消耗比 Dataflow Gen1 少 95% (2,391 對 50,788 CU 秒)。
- 這需要在查詢上啟用 Staging 並設定 lakehouse 目的地,且不會改變你的轉換邏輯。
- 此情境明確在目的輸出上使用 V-Order 。
- 每當您將暫存資料寫入 Lakehouse 目的地,且寫入時間占重新整理作業的大部分時間時,請使用「最佳化複製到 Lakehouse」。
情境四:合併檔案
備註
分區運算目前處於 預覽 階段,僅在 Dataflow Gen2 的 CI/CD 中提供。 該能力仍在持續改進中,因此其行為、支援的轉換與效能在正式上市前可能會有所變動。 在此情境中,將結果視為預覽的某個時間點快照。
團隊現在必須彙整並豐富數百個 Parquet 檔案(每月分割區)的行程資料。 轉換內容包括資料集中的計算小費百分比。
Challenges
- 你必須處理數百個大型檔案。
- 轉換需要分組、聚合及跨分割區的豐富化。
- 序列執行成為瓶頸。
Dataset
56 份 Parquet 檔案(2021 年至 2025 年 8 月)。
解決方法
團隊啟用 了分區運算 (預覽),該功能能將分區間的處理平行化並有效合併結果。
Design
此查詢會合併 56 個 Parquet 檔案,並在 Transform Sample 檔案 中建立名為「Tip Pctg」的新自訂欄位,以表示小費百分比,然後再將資料載入資料倉儲。
分割計算考量
- 目前處於 預覽 階段,且目前僅在支援 CI/CD 的 Dataflow Gen2 中提供;此功能仍在持續改進中。
- 當來源不支援摺疊時使用。
- 在將資料載入暫存或倉庫時,效能最佳。
- 請使用 Combine 檔案中的 Sample 轉換檔案,以確保轉換邏輯一致。
- 支援部分轉換;效能會有所不同。
Results
分割計算在大型、分割且多檔案的資料集上,效能 比 Dataflow Gen1 快約 21× (00:04:48 對比 01:40:57)。
| 組態 | 執行時間 (hh:mm:ss) | 與第一代的比較 | 已消耗的 CU |
|---|---|---|---|
| Dataflow Gen1 基線 | 01:40:57 | — | 沒有被測量 |
| 帶有分區運算的 Dataflow Gen2 | 00:04:48 | 21×更快 | 沒有被測量 |
分區計算的目標是牆時鐘時間,而非成本。 它會平行執行各分割區,讓重新整理更快完成,但這種平行處理是將工作分散到更多運算資源上,而不是減少工作量,因此成本通常與未使用此功能時的相同工作負載相近,甚至更高。 此情境未測量 CU 消耗,因此本文僅報告執行時間。
重點摘要
- 分區運算比第一代資料流基線加速了21×,且在五分鐘內完成。 由於該功能仍處於預覽階段且持續改進,預期這些數字將持續演進。
- 把分割計算當作更快完成的手段,而不是為了節省花費。 平行處理會透過同時執行各分割區來縮短實際經過時間,因此其成本通常與未使用平行處理的相同工作負載相近或更高。
- 收益來自於平行處理每個分區並合併結果,因此在多檔案或分區來源中,特別是在無法利用折疊技術且順序評估成為瓶頸時,效果最佳。
- 使用 Combine 檔案中的 Sample 轉換檔案 模式,讓轉換邏輯在每個分割區都能一致套用。 Partitioned Compute 目前支援部分轉換,所以在依賴它之前,請先驗證你的整形步驟是否相容,並在預覽版本進展時再檢查。
- 針對高流量的資料分區匯入至暫存區或資料倉儲,請將分區運算設為預設設定,並盡可能結合現代評估工具使用。 因為還在預覽階段,採用它做生產更新前,請先驗證它與你自己的工作負載相符。
成本隨時間變化(過去與現在相比)
資料流第 2 代隨著時間推移,執行成本變得更具成本效益。 相同的邏輯在相同的資料上,如今所消耗的 CU 比過去更少,而且您的查詢無需做任何變更。
在這項比較中,then 指的是在 2026 年前普遍提供的定價與功能條件下的相同工作負載。 現在表示以相同的工作負載在今天使用目前正式提供的最佳設定(例如 Modern Evaluator 和 Fast Copy)執行。 兩欄皆採用其時期最普遍可用的配置。 目前的數值是根據容量遙測資料測得的。 當時的數據是對當時相同工作量所消耗的估計,因為早期的服務狀況無法現今重現。
| Scenario | 能力 | 截至 2026 年前的預估 CU(最佳 GA) | CU 現在(最佳 GA 版本) | 估計減量 |
|---|---|---|---|---|
| 情境一:複製資料 | 快速複製 | 17,055 | 14,593 | 14% |
| 情境二:大量資料整形 | 現代評估者 | 66,164 | 10,485 | 84% |
| 情境三:將複製作業最佳化至 Lakehouse | 優化版副本至 Lakehouse | 14,173 | 2,391 | 83% |
例如,情境二中的重塑形工作負載在2026年前估計消耗66,164 CU秒,現在則為10,485 CU秒。 此變更為 84% 的縮減,邏輯相同且無需任何修改。 兩項改進共同作用,造就了它。 首先,標準運算的定價改為分層計費:不再是整個執行期間的每一秒一律按 16 CU 計費,而是只有前 10 分鐘按每秒 12 CU 計費,之後的每一秒僅按 1.5 CU 計費,因此整形工作負載的長尾成本現在只相當於以前的一小部分。 其次,Modern Evaluator 自 2026 年 4 月起已正式可用,且會縮短實際計費時長本身,因此無論在哪個級別,需計費的秒數都會更少。 執行時間較短,且按便宜許多的長尾費率計費,這就是 CU 消耗會大幅下降的原因;而這也正是為什麼對於以資料塑形為主的資料流而言,將 Modern Evaluator 與現行的分級定價搭配使用會如此重要。
情境一的快速複製吞取在2026年前估計消耗17,055 CU秒,現在則消耗14,593 CU秒。 這項變更將費率降低了 14%,主因是 Standard Compute 費率從原本不分時段一律每秒 16 CU,調降為前 10 分鐘內每秒 12 CU;Fast Copy 的資料移動部分則維持不變。 在情境 3 中,優化複製到 Lakehouse 的更新在 2026 年前估計消耗了 14,173 CU 秒,而現在則消耗 2,391 CU 秒。 此變更為83% 減少。 每次比較都使用相同的工作負載,並使用當時最普遍可用的設定。
備註
這次過去與現在的比較排除了分區運算,因為該情境並未測量 CU 消耗,且該功能仍處於預覽階段。
常見問題
Dataflow Gen2 是如何計費的?
Dataflow Gen2 會以 Fabric 容量單位(CU)分別向每個引擎計費。 標準運算(混搭引擎)對每個查詢的前 10 分鐘每秒收取 12 CU,之後每增加 1 秒收取 1.5 CU。 快速複製(資料移動)每進行 1 秒的複製作業,便收取 1.5 CU,並依該複製作業執行所在的所有核心合計計算。 你只會按每個查詢實際使用的運算量收費,沒有固定的每次刷新費用,也不會對閒置時間收費。 完整費率模型請參見 Dataflow Gen2 定價。
Dataflow Gen2 的定價彈性嗎?
Yes. Dataflow Gen2 僅針對每個查詢實際使用的運算資源計費,其用量以 Fabric 容量單位 (CU) 衡量。 沒有每次重新整理的固定費用,閒置時間不收費,而在編寫期間使用原生功能時也不會直接收費。 本文的基準測試顯示,快速複製擷取需全面刷新 14,593 CU 秒,重整形工作需 10,485 CU 秒。
在執行全部工作負載之前,我該如何估算我的 Dataflow Gen2 成本?
先執行一個小型且具代表性的刷新,衡量消耗量,而不是先建構完整解決方案再發現成本。 要用這種方式估算成本:
- 將資料流建立在你來源的樣本或單一分割區上,而不是整個資料集。
- 重新整理一次,然後在 Microsoft Fabric 容量指標應用程式中讀取它所消耗的 CU 秒數。
- 查看 資料流刷新歷史 ,看看哪些引擎運行,因為標準運算和快速複製是分開計費的。
- 將測量到的CU秒除以你處理的列數或GB數,得到每單位速率,然後乘以你的全部資料量。
備註
Dataflow Gen2 針對大規模工作負載進行優化,因此其效能與效率的提升在大型真實世界資料集上最為明顯。 小樣本或合成樣本可能無法顯示全部增益,而從極小樣本推算出的單位率可能會高估完整生產的成本。 盡可能以具代表性的資料量進行驗證。
完整方法請參閱使用 Fabric Metrics 應用程式計算估算成本及資料流刷新歷史。
Dataflow Gen2 更新需要多久時間?
這取決於資料量和你套用的轉換方式。 在本文的基準測試中,Dataflow Gen2 的重新整理時間從 00:03:34 到 00:46:29 不等;其中,將含 1.13 億列的資料表最佳化複製到 Lakehouse 需時 00:03:34,而針對大型整合 Parquet 檔案執行大量資料塑形的工作負載則長達 00:46:29。 五個合併的 Parquet 檔案的批量複製在 Fast Copy 下於 00:09:08 完成,56 個分割檔案合併後則在 00:04:48 使用 Partitioned Compute(預覽)完成。 完整的每情境時間,請參閱 基準結果摘要。
哪一種 Dataflow Gen2 功能能最大程度降低成本?
這取決於工作負載,因為各項功能各自針對不同的瓶頸:Fast Copy 用於不需轉換的資料擷取,Modern Evaluator 用於不可摺疊的資料塑形,Optimized copy to Lakehouse 用於加速寫入 Lakehouse 目的地,而 Partitioned Compute(預覽)則用於大型多檔案資料集。 與 Dataflow Gen1 基準相比,最佳化複製到 Lakehouse 在這些基準測試中帶來了最大幅度的節省,CU 秒數減少了 95%。 與 2026 年前 Dataflow Gen2 的同等執行結果相比,Modern Evaluator 在高強度資料塑形工作負載下,估計可將 CU 秒數降低 84%,降幅最大。 若要將能力與你的工作量匹配,請參閱 快速參考。
我該如何讓 Dataflow Gen2 更新更快?
依照瓶頸調整功能:啟用支援的擷取載入來源的快速複製,開啟 Modern Evaluator 以支援不可摺疊的轉換,寫入分階段資料到湖屋目的地時啟用最佳化複製至 Lakehouse,並對大型分割或多檔案資料集使用分割計算(預覽)。 本文針對各項功能進行基準測試,並以其相較於 Dataflow Gen1 基準所實現的具體加速幅度作為比較依據。
我需要更改查詢才能獲得這些改進嗎?
No. 本文中的每項基準測試,都是在兩個世代與每種配置上執行相同的 M 指令碼。 快速複製、現代評估器,以及複製到 Lakehouse 的最佳化,都是可啟用的設定;它們會改變引擎執行查詢的方式,而不是查詢本身。 但有一項注意事項:快速複製只適用於符合其先決條件的步驟,因此,任何會中斷查詢摺疊的轉換步驟都會回退至標準引擎,因而失去這項效益。 關於這些前置條件,請參考 Dataflow Gen2 中的快速複製。
Dataflow Gen2 比 Dataflow Gen1 更快且更便宜嗎?
對於像本文中進行效能評測的這類高工作負載,兩者的答案都是肯定的。 Dataflow Gen2 在相同的資料和相同的 M 指令碼下,執行速度比 Dataflow Gen1 基準快 1.7 倍到 21 倍;而且在同時對兩個世代進行測量的情境中,其耗用的容量單位少了 82% 到 95%。 舉例來說,Dataflow Gen1 的批量複製花了 01:38:59,但在 Dataflow Gen2 用快速複製後用了 00:09:08——大約快了 11×。 對於短時間資料流,差異較小,因為在前 10 分鐘內完成的查詢永遠不會達到較便宜的 1.5 CU 層級,因此隨著資料量和執行時間的增加,收益會逐漸增加。 完整的各情境比較,請參閱 基準結果摘要。
Dataflow Gen1 與 Dataflow Gen2 相比,佔用多少容量?
在同時對兩個世代進行測量的情況下,對於相同的高工作量作業,Dataflow Gen1 消耗的容量是 Dataflow Gen2 的數倍。 快速複製的擷取在 Dataflow Gen1 上耗時 84,411 CU 秒,而 Dataflow Gen2 為 14,593 CU 秒,減少了 83%。 龐大的資料塑造工作在 Dataflow Gen1 上消耗了 56,855 CU 秒,而 Dataflow Gen2 則為 10,485 CU 秒,減少了 82%。 優化後的 Lakehouse 複製工作負載在 Dataflow Gen1 上消耗了 50,788 CU 秒,而 Dataflow Gen2 為 2,391 CU 秒,減少了 95%。 這三個重新整理的執行時間都遠超過 10 分鐘,因此其 Dataflow Gen2 持續時間的大部分都會以較低的 1.5 CU 費率計費。 各情境數據請參見 基準結果摘要。
我應該把我的 Dataflow Gen1 資料流移到 Dataflow Gen2 嗎?
Yes. Dataflow Gen2 是 Microsoft Fabric 目前這一代的資料流程,因此請規劃將所有 Dataflow Gen1 資料流程移轉至 Dataflow Gen2。 在本文的各項基準測試中,Dataflow Gen2 以快 1.7 倍到 21 倍的速度完成相同的 M 指令碼,而消耗的容量單元則比 Dataflow Gen1 少 82% 到 95%——邏輯相同,但執行速度更快,且占用更少的容量。 帶來這些效益的功能——Fast Copy、Modern Evaluator、最佳化複製到 Lakehouse,以及分區計算——僅在 Dataflow Gen2 中提供,因此,隨著這些功能持續改進,差距也會不斷擴大。 高容量且執行時間長的重新整理作業可望帶來最大效益。 遷移時,測試具代表性的工作負載,以確認自身資料與容量的提升。 要開始,請參閱 Dataflow Gen2 概述。
Dataflow Gen2 是否隨時間變得更具成本效益?
Yes. 情境二的重塑形工作負載在2026年前估計消耗66,164 CU秒,現在以目前普遍可用能力計算,約耗10,485 CU秒,若邏輯相同且無需更改,估計可減少84%。 如需查看各情境的數據圖表,請參見「成本隨時間變化(當時與現在)」。
舊版 Dataflow Gen2 的成本與效能數據還準確嗎?
不一定。 本文中的數據反映了目前 Dataflow Gen2 的定價模式——標準運算每秒 12 CU,標準運算最多 10 分鐘,接著每秒 1.5 CU,並結合現有功能如快速複製與現代評估器。 由於資料流第二世代隨著時間變得更快且更具成本效益,2026年前公布的基準數據或成本估算可能會高估當前成本或低估目前的表現。 用 Microsoft Fabric 容量指標應用程式驗證你自己的工作負載。