為了改善效能和可靠性,Dataflow Gen2 會在資料轉換期間使用暫存項目儲存中繼資料。 本文說明了什麼是暫存項目、它們在關卡中一次性解鎖的 ELT 模式 、參考多個 模型,以及如何管理它們所持有的資料。
什麼是暫存項目?
暫存項目是指 Dataflow Gen2 用於資料轉換過程中儲存資料的中間暫存位置。 這些專案會以 「DataflowsStagingLakehouse」 和 「DataflowsStagingWarehouse」 名稱來表示。 暫置項目用於在資料轉換期間儲存中間資料,以提高效能。 這些項目會在您建立第一個資料流程時自動生成,並由 Dataflow Gen2 管理。 這些項目在工作區中對使用者是隱藏的,但可能在其他體驗中,例如取得資料或 Lakehouse explorer 中可見。 我們強烈建議不要直接存取或修改暫存項目中的資料,因為這可能導致意外行為。 此外,自行儲存資料於預備項目中是不支援的,且可能會導致資料遺失。
ELT模式:階段一次,多次引用
除了提供中介儲存外,分階段還解鎖了一套建立在單一基礎上的 ELT 模式: 一個階段,參考多個。 來源查詢會被標記為暫存,因此其輸出會被實體化到內部暫存儲存。 下游查詢則會參考該分階段查詢,而非重新閱讀原始碼。 快速複製是一個可選的加速器,可以讓分階段查詢更快被填充,但它並不是定義模式的關鍵。
這個模式很重要,因為一旦資料分階段,下游查詢可以:
- 在不重複存取原始碼的情況下,對一個已索引且可查詢的副本執行。
- 將篩選、聯結和彙總摺疊回暫存 SQL 分析端點,而不是在 Mashup 引擎中執行。
- 從單一具體化結果分流到多個平行轉換或目的地。
常見使用案例
以下模式通常疊加在分階段的原始查詢之上。
| 應用案例 | Description |
|---|---|
| 將分階段資料塑造成分析模型 | 引用查詢透過重複刪除、分組及鍵生成,將分階段資料轉換為事實表和維度表、摘要、彙總或關鍵績效指標(KPI)。 |
| 摺疊計算下壓 | 針對分階段資料撰寫的參考查詢,會將其連接、篩選及分組操作折疊到暫存的 SQL 分析端點,將運算推送至倉庫引擎,而非 mashup 引擎。 這通常是舞台設計帶來的最大績效勝利。 |
| 資料品質與稽核分支 | 參考查詢可驗證或檢查分階段資料(空檢查、限制驗證、列數),而無需重新閱讀原始碼。 |
| 散播到多個目的地 | 多個參考查詢會從同一預置來源(例如一個 Lakehouse 和一個 Warehouse)載入不同的目的地。 |
| 暫存後合併 | 每個來源都會先在各自的查詢中進行暫存,接著由下游的參照查詢合併或聯結這些暫存結果,並將聯結作業折疊回推至暫存 SQL 分析端點。 |
當舞台安排不合適時
暫存會增加儲存成本,並在下游查詢執行前多寫一次。 考慮在以下情況下跳過:
- 你的轉換已經端到端整合至來源系統,混搭引擎中沒有運算。
- 資料流只有一個輸出,沒有下游分支、驗證或扇出。
- 原始碼延遲是瓶頸,且原始碼無法透過暫存平行化。
關於何時啟用或關閉暫存的更多指引,請參閱 Dataflow Gen2 最佳效能的最佳實務。
暫存項目中的資料
預備項目並不是為使用者直接存取而設計。 資料流程 Gen2 會管理暫存項目中的資料,並確保資料處於一致的狀態。 不支援直接存取預備項目中的資料,因為無法保證資料處於一致的狀態。 如果你需要存取暫存項目中的資料,可以使用 Power BI、Excel 或其他資料流中的資料流連接器。
這很重要
透過資料流連接器取用 Dataflow Gen2 資料表(包括將其作為 Power BI 語意模型、Excel 或其他資料流的來源)皆受到完整支援。 務必使用連接器,而非直接存取底層的暫存儲存。 連接器提供穩定的介面契約,而內部儲存層則可變動。
預備環境是快取,而非正式記錄系統。 保存任何無法從來源系統重建的資料,保存一份耐用的副本。
若可能,使用 資料目的地,如 Lakehouse 或倉庫,建立明確且受控的複製品供下游使用。 這個建議不是要求。
從暫存項目中移除資料可由下列其中一個動作強制執行:
- 停用資料流程中的暫存階段並之後重新整理 (在 30 天後,我們會進行垃圾回收資料)。
- 刪除資料流程 (直接移除資料)。
- 刪除工作區 (直接刪除 StagingLakehouse 和 StagingWarehouse)。
分期成本影響
暫存 Lakehouse 和暫存 Warehouse 會將中間資料儲存為資料流處理的一部分。 這些分期項目所消耗的儲存費用會計入您的 OneLake 儲存費用。 這表示暫存項目中儲存的資料會計入您整體 OneLake 儲存的使用量及相關成本。
有效管理儲存成本:
- 監控暫存儲存使用情況:請注意,暫存資料會隨著每次資料流刷新而累積,直到被垃圾回收或明確移除為止。
- 在不需要時關閉暫存功能:如果你的轉換會整合到來源系統,可能不需要啟用暫存。 關閉暫存則能減少儲存空間的消耗。
- 清理未使用的資料流:刪除不再需要的資料流會立即移除其相關的暫存資料。
- 考慮刷新頻率:啟用暫存狀態的頻繁刷新會導致較高的儲存空間消耗。 在效能效益與儲存成本之間取得平衡。
欲了解更多 OneLake 儲存價格資訊,請參閱 Microsoft Fabric 定價。