Microsoft Fabric 的 Data Factory 中 Dataflow Gen2 的定價

Dataflow Gen2 可協助您輕鬆塑造和轉換資料。 它提供低程式碼介面及超過 300 種內建資料與 AI 轉換功能,全部由您在 Excel、Power BI、Power Platform 及 Dynamics 365 中熟悉的 Power Query 體驗驅動。 Dataflow Gen2 也支援透過映射資料流(MDF)轉換執行 Spark 支援的轉換,適用於原生及遷移工作負載。

此定價適用於所有 Fabric 容量 SKU(F2 及以上)。 定價不適用於 Fabric 的試用容量。 關於常見情境下的真實 CU 消耗基準,請參見 Dataflow Gen2 成本與效能基準。

當您發佈資料流程時,它會在重新整理期間建立一個定義來執行。 Dataflow Gen2 引擎利用該定義來規劃和管理查詢如何在資料來源、閘道器與運算引擎間執行。 它在暫存儲存中建立表格或將它們發送到您選擇的目的地,因此您無需繁重的工作即可獲得可靠的結果。

Dataflow Gen2 架構的圖表。

圖中展示了 Data Factory Dataflow Gen2 架構的組成部分,包括用於分階段資料匯入的 Lakehouse,以及作為計算引擎以更快將結果寫入分階段或輸出的 Warehouse 項目。 當你無法使用 Warehouse 運算,或是關閉查詢的暫存時,Mashup 引擎會擷取、轉換或載入資料到暫存或資料目的地。 想了解更多 Dataflow Gen2 的運作方式,請參閱 Data Factory Spotlight: Dataflow Gen2。

Dataflow Gen2 可使用 Mashup Engine 或 Spark Engine 執行工作負載。 當 MDF 轉換在 Dataflow Gen2 中使用時,Spark 支援的運算則用於轉換執行與資料處理。

當您重新整理或發佈 Dataflow Gen2 項目時,下列引擎會使用 Fabric 容量單位:

  • 標準運算:您需要根據透過「混搭引擎」執行之所有資料流查詢的查詢評估時間計費。
  • 大規模資料流程計算:啟用預備的情況下,會根據 Lakehouse(預備儲存)和倉儲(儲存計算)SQL 引擎的使用時間向您收費。
  • 快速複製:當啟用快速複製連接器並在資料流程中使用時,會根據複製工作的持續時間收取費用。 快速複製是在多個核心間平行執行,因此這個時長是複製工作所用所有核心所花費的總時間,而不是刷新時的時鐘時間。
  • Spark Compute:MDF 轉換在透過 Fabric Pipeline Dataflow 活動執行時會使用 Spark Compute。 MDF 轉換的價格正在敲定中,目前客戶尚未收取 MDF 轉換計算費用。 本文將於開帳前更新。

Dataflow Gen2 定價模式

定價方式

資料流 Gen2 的定價取決於每個查詢使用計算的方式。 對於標準運算,查詢會在 Mashup 引擎上執行。 根據您的資料流程是否為資料流程Gen2 (CI/CD),評級會有所不同。

在 Dataflow Gen2(CI/CD)中,會對查詢時間套用兩層費率:

  • 如果查詢執行時間少於 10 分鐘,則會評等為 12 CU
  • 如果運行時間更長,則每增加一秒的額定值為 1.5 CU。

如果您的 Dataflow Gen2 不是以 CI/CD 模式運行,則整個查詢過程將以 16 CU 的速率計算。

Note

使用 分割計算時,Dataflow Gen2 會將每個分割區視為獨立的工作單元。 標準計算費用是根據每個分割的處理時間總和計算。 平行執行各分割區可縮短完成整個執行作業所需的整體(牆鐘)時間,而總 CU 消耗則反映所有分割區合計的運算量。

對於大規模情境——當啟用暫存時,查詢會在 Lakehouse 或 Warehouse SQL 引擎上執行。 每秒運算時間會使用 6 CU 秒,因此較長的查詢會耗用更多。

如果您開啟快速複製,則資料移動會有一個單獨的速率:1.5 CU,根據活動執行的時間長度而定。 快速複製會自動平衡每個情境,決定使用多少核心,計費時間是所有核心總共花費的時間,而非刷新歷史中看到的牆壁時鐘時間。 將工作分散到更多核心可以縮短所耗時間,而計費時間則涵蓋複製工作使用的每個核心。

每次執行結束時,Dataflow Gen2 會從每個引擎累積 CU 使用量,並根據您區域中的 Fabric 容量定價進行計費。

CU費率表

Dataflow Gen2 引擎類型 耗用量計量 Fabric CU 消耗率 消費報告細緻度
標準運算(Dataflow Gen2(CI/CD)) 根據每個混搭引擎執行查詢的時間,單位為秒。 標準運算有兩層定價,視查詢持續時間而定。 - 每秒,持續至 10 分鐘,12 CU
- 超過 10 分鐘的每一秒,1.5 CU
每個 Dataflow Gen2 項目
標準運算 (非 CI/CD) 根據每個混搭引擎執行查詢的時間,單位為秒。 16 中立大學 每個 Dataflow Gen2 項目
大規模資料流計算 根據 Lakehouse/Warehouse SQL 引擎在啟用暫存功能的情況下執行的時間,以秒為單位。 6 庫 每個工作區
資料移動 根據 Fast Copy 執行時間,其衡量方式為複製工作所使用的所有核心之核心時間總和,單位為秒。 Dataflow 會自動平衡每個快速複製情境所需的核心數量。 1.5 CU 每個 Dataflow Gen2 項目
Mapping Data Flow 轉換計算(預覽) MDF 轉換在 Dataflow Gen2 中使用以 Spark 為後端的運算。 目前未被開帳。 MDF 轉換的定價仍在敲定中,本文將於開始計費前更新。 預覽期間不適用

適用於 Dataflow Gen2 的虛擬網路資料閘道定價

虛擬網路(VNET)資料閘道會以與平台容量相關聯的附加基礎設施費用進行計費。 這表示它有獨立的計量裝置,並產生一個帳單,在所有 Fabric 項目的運行中保持一致且是額外的成本。

透過 虛擬網路 Data Gateway 執行 Dataflow Gen2 的總費用計算為:Dataflow Gen2 費用 + 虛擬網路 Data Gateway 費用。

虛擬網路資料閘道費用與您對虛擬網路資料閘道的使用量成正比,其中使用量定義為正常運作時間,也就是虛擬網路資料閘道處於開啟狀態的任何時間。

虛擬網路資料閘道 CU 耗用率:4 CU

若要深入瞭解,請參閱虛擬網路資料閘道定價和計費。

Microsoft網狀架構工作負載耗用量率的變更

消費率隨時可能會變更。 Microsoft會使用合理的努力,透過電子郵件和產品內通知提供通知。 變更會在版本資訊及Microsoft網狀架構部落格中所述的日期生效。 如果對Microsoft網狀架構工作負載耗用量率所做的任何變更,實際上會增加使用特定工作負載所需的容量單位(CU),客戶可以使用適用於所選付款方式的取消選項。

使用 Fabric Metrics 應用程式計算預估成本及資料流刷新歷史

Microsoft Fabric 容量計量應用程式可讓您查看系結至容量的所有 Fabric 工作區的容量使用量。 容量管理員使用它來監控工作負載的效能,以及其使用量與購買容量的比較。 使用計量應用程式是估計 Dataflow Gen2 重新整理執行成本的最精確方式。 要了解分級定價如何影響你的標準計算成本,你還需要使用 Dataflow 刷新歷史。

這些練習說明如何驗證 CI/CD 和非 CI/CD 資料流程的成本。 針對使用標準運算的 CI/CD 資料流,本文先提供一個完整範例,接著說明所有其他情境的操作方式。

練習一:CI/CD資料流的標準計算

下列資料流程中有兩個涉及轉換的查詢,並且暫存功能已被停用。

螢幕擷取畫面顯示 Dataflow Gen2,包含兩個查詢。

螢幕擷取畫面顯示已停用 Staging 的 Dataflow Gen2。

Dataflow Gen2 只使用標準計算。

針對每個查詢,請從 [重新整理歷程記錄] 存取查詢持續時間,並套用下列公式來計算每個查詢的 CU 耗用量。

對於第一個查詢,持續時間為 2,131 秒。

顯示查詢 1 刷新歷程記錄的螢幕擷取畫面。

同樣地,對於第二個查詢,持續時間為 913 秒

顯示查詢 2 重新整理歷程記錄的螢幕擷取畫面。

StandardComputeCapacityConsumptionInCUSeconds = if(QueryDurationInSeconds < 600, QueryDurationInSeconds x 12, (QueryDurationInSeconds - 600) x 1.5 + 600 x 12)

對於查詢 1,計算耗用量為 9497 CU 秒,而對於查詢 2,計算耗用量為 7670 CU 秒。

彙總容量耗用量 (以 CU 秒為單位),並在 Fabric 容量計量應用程式中驗證耗用量。 在此案例中,計量應用程式會顯示 17,180 CU 秒作為標準計算使用量,與 17,167 CU 秒的計算耗用量相比良好。 任何差異都可能是由於使用情況定期報告的四捨五入造成的。

螢幕擷取畫面顯示 Fabric 容量計量應用程式,顯示資料流程耗用量。

練習二:非CI/CD資料流的標準計算

當資料流程包含轉換,且已停用預備區時,Dataflow Gen2 只會使用標準計算資源。

針對每個查詢,請從 [重新整理歷程記錄] 存取查詢持續時間,並套用下列公式來計算每個查詢的 CU 耗用量。

StandardComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 16

彙總容量耗用量 (以 CU 秒為單位),並在 Fabric 容量計量應用程式中驗證耗用量。

練習三:理解高階計算消耗(包括 CI/CD 與非 CI/CD 資料流)

如果你的資料流使用了暫存,要知道你使用了多少高規模運算,打開 Fabric 容量指標應用程式,並依照資料流名稱篩選。 以滑鼠右鍵按一下名稱,在操作清單中尋找高尺度計算,然後檢查持續時間。

HighScaleComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 6

練習 4:了解快速複製的計算資源耗用(包括 CI/CD 與非 CI/CD 的資料流)

如果你的資料流使用快速複製,要查詢你使用了多少資料移動運算,打開 Fabric 容量指標應用程式,並依照資料流名稱篩選。 在名稱上按一下滑鼠右鍵,在作業清單中尋找資料移動,然後檢查持續時間。

FastCopyComputeCapacityConsumptionInCUSeconds = QueryDurationInSeconds x 1.5