每次針對你實體化的湖泊視圖進行排程刷新時,Fabric 會根據來源資料的變化,決定最佳策略——無刷新、增量刷新或完整刷新。 這種行為稱為 最佳刷新,它幫助你保持實體化的湖泊視圖是最新的,同時降低計算成本和刷新時間。
本文說明最佳刷新的運作方式、每種策略的功能,以及如何在需要時切換到完整刷新模式。
若要使用 Skills for Fabric 檢視已儲存的定義,請替換佔位符並使用此提示:
Use Skills for Fabric. In workspace <workspace-name>, read
<source-notebook-name> via the Notebook API. Find the full SQL definition for
<schema-name>.<materialized-lake-view-name> in destination lakehouse
<destination-lakehouse-name>, including data quality constraints. Show the
cell and SQL; ask me to choose if several match.
Resolve sources from notebook bindings and SQL references; qualify as needed.
Check best practices, Delta format, CDF, append-only changes, and supported
SQL. Explain blockers and suggest only changes that preserve results and data
quality. Show revised SQL and explain edits. Flag unverified checks and when a
full refresh is needed. Don't run the notebook or change items or settings.
備註
以下情境不支援最佳刷新:
- PySpark 定義:最佳刷新僅適用於以 Spark SQL 定義的 MLV。 PySpark 定義的 MLV 總是使用全刷新。
- 非 Delta 來源資料表:使用非 Delta 資料表作為來源的實體化湖檢視,會一律執行完整重新整理。 增量式與無刷新策略需要 Delta 表格來源。
最佳刷新的好處
透過分析來源資料表的 delta 提交,最佳化刷新能做出智能的處理決策。 在可能的情況下,這可能導致:
- 成本降低:當 Fabric 偵測到來源資料未變更並完全跳過更新時,所使用的運算與儲存空間較少。 不會針對最佳化刷新收取額外費用——你是根據刷新操作中的運算使用量計費。
- 效率提升:當只需處理變更資料時,更新週期更快,幫助你提供更新鮮的洞察。
- 節省時間:當採用增量處理而非重新計算整個資料集時,刷新時間縮短。
最佳刷新策略
下表描述了最佳刷新可選擇的刷新策略:
| 更新政策 | Description |
|---|---|
| 沒有刷新 | 若來源資料表未偵測到新的 delta 提交,Fabric 會完全跳過刷新,避免不必要的運算。 |
| 逐步重新整理 | 僅在來源資料表偵測到新的 delta commit 時處理變更後的資料。 |
| 完整重新整理 | 從完整來源資料集重新計算整個實體化的湖泊視圖。 此策略用於偵測到不支援表達式、無法增量處理變更,或來源資料集規模不足以完整重新計算比增量處理更快時。 |
這很重要
增量刷新是根據以下因素進行的:
- 資料來源模式。 僅追加資料支援對插入操作進行增量處理。 對於非附加型資料(例如刪除或更新),只有在實體化 Lake View 使用可識別資料列身分的重新整理提示時,才支援增量重新整理。 否則,引擎會回復到完全刷新狀態。 更多細節請參閱 增量刷新與資料變更模式。
- Delta 變更資料流(CDF)。 在物質化湖景定義中引用的所有來源資料表上,必須啟用 CDF
delta.enableChangeDataFeed=true()。 沒有 CDF,最佳刷新只能在無刷新與完全刷新之間選擇。 欲了解更多資訊,請參閱 啟用增量刷新。
設定最佳刷新
最佳刷新切換模式讓你能選擇無刷新和全刷新策略,且不需要額外設定。 要解鎖增量刷新策略,你也需要在來源資料表啟用變更資料串流。
開啟最佳刷新模式
預設情況下,對於實體化的湖景線索,會啟用最佳刷新模式。 如果沒有啟用,請依照以下步驟開啟:
增量刷新與資料變更模式
當查詢與資料配合刷新策略運作時,增量刷新支援僅附加及非附加的資料模式。
備註
當增量更新不是最有效率的選項時,引擎可以根據變更的規模與成本,回退到完全更新。 這種備用方式有助於維持有效率的刷新,同時保持正確性。
對於僅附加的刷新,Fabric 只會處理自上一次重新整理以來新增的列。 對於非附加資料,如刪除或更新,引擎需要可靠的方法來識別資料列。 如果實體化的湖景定義了一個宣告唯一鍵的刷新提示,Fabric 可以逐步套用這些 delta。 若沒有相容的金鑰可用,引擎會回退到完全刷新狀態——即使啟用 CDF 且查詢僅使用 支援的 SQL 結構。
欲了解更多關於處理刪除與更新的資訊,請參閱「 處理實體化湖景圖中的刪除與更新,並附上刷新提示」。
啟用增量刷新
要使用增量刷新,必須在所有來源資料表或實體化湖泊視圖定義中提到的資料表和視圖上啟用增量變更資料饋送(CDF)屬性。 CDF 讓 Fabric 只讀取自上次刷新以來變動的列,而不必重新處理整個資料集。
若未啟用 CDF,最佳刷新只能在無更新與全更新之間選擇。
Tip
為了幫助你找出刷新優化的機會,Fabric 會顯示一個橫幅,列出符合增量刷新但因一個或多個來源資料表未啟用 CDF 而被封鎖的實體化湖泊視圖。 橫幅會顯示在 沿襲檢視、最近執行的詳細資料,以及 個別節點層級,讓你無論從哪個入口點進入,都能找出缺口。
要直接從橫幅啟用 CDF:
備註
在來源資料表上啟用 CDF,不會對供實體化 Lake View 使用的來源資料表造成可測得的儲存空間或效能影響。 CDF 是標準的 Delta Lake 桌面特性,其他 Fabric 功能也能受益。 欲了解更多 CDF 運作方式,請參閱 使用 Delta Lake 變更資料串流。
您可以在建立時啟用 CDF,只需在TBLPROPERTIES語句中包含CREATE。
CREATE OR REPLACE MATERIALIZED LAKE VIEW silver.cleaned_order_data
TBLPROPERTIES (delta.enableChangeDataFeed=true)
AS
SELECT
o.order_id,
o.order_date,
o.product_id,
p.product_name,
o.quantity,
p.price,
o.quantity * p.price AS revenue
FROM bronze.orders o
INNER JOIN bronze.products p
ON o.product_id = p.product_id
對於現有的來源資料表,請使用 ALTER TABLE 啟用 CDF。
ALTER TABLE <table-name> SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
例如,要在 入門指南中的這兩個來源資料表上啟用 CDF:
ALTER TABLE bronze.products SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
ALTER TABLE bronze.orders SET TBLPROPERTIES (delta.enableChangeDataFeed = true);
由增量刷新支援的 SQL 結構
當你的實體化湖景定義只使用這裡描述的 SQL 結構時,增量刷新是有效的。 如果你的查詢包含不支援的結構——例如視窗函式或非確定性函式——Fabric 仍會刷新你的資料,但會回退到完整刷新。
| SQL 建構 | 備註 |
|---|---|
| SELECT 表達式 | 支援確定性內建函式與表達式。 非確定性函數 rand()如 、 uuid()、 current_timestamp() 不被支援。
DISTINCT 和視窗函數皆不支援。 |
| FROM | 支援三角區表與實體化湖景。 子查詢和 CTE 如果只使用支援的子句,它們是有效的。 |
| WHERE | 僅支援確定性內建函式。 |
| 內部聯結 | 支援。 |
| 左外接 / 左半接 / 反接 | 支援。 增量刷新只有在右側資料表在刷新週期中保持不變時才有效。 右側表格的任何變動都會觸發完整刷新。 |
| 右外接合 | 支援。 增量刷新僅在左側資料表在刷新週期中保持不變時有效。 任何左側表格的變更都會觸發完整刷新。 |
| 交叉聯結 | 支援。 |
| 排序依據 | 支援。 |
| 按群組 / 聚合 | 支援。 使用聚合AVG()(、 STDDEV()及其他)需要每個來源資料表都被分割,且該分割欄位包含在 GROUP BY MLV 查詢的子句中——此要求讓 Fabric 只能逐步重新計算受影響的分割區。 SUM()、MIN()、MAX()以及COUNT()(不含 DISTINCT)屬於特殊情況:它們支援增量刷新,而不需要分割條件。 在同一查詢中將其他彙總函數與 SUM()、COUNT()、MIN() 和 MAX() 混用(例如 SELECT SUM(amount), AVG(price) ...)時,整個查詢都必須具備分區條件;否則,Fabric 會回復為完整重新整理。
GROUP BY 欄位必須出現在 SELECT 清單中。 |
| 全部合一 | 支援。 |
| WITH | 如果只使用支援子句,則稱為常見表表達式(CTE)。 |
| 表達式中的子查詢 | SELECT 或 WHERE 表達式中的子查詢(如純量子查詢或 EXISTS)若有參考資料表有變更,會觸發完整刷新。 |
| 資料品質限制 | 限制中僅支援確定性內建函式。 |
備註
使用無支援的構造物並不妨礙你創造實體化的湖景。 這只是表示 Fabric 使用完整刷新,而非增量刷新。
完整重新整理
最佳刷新率會在需要時自動回退為全刷新,所以通常不需要強制切換。 不過,有些情況下你可能會想手動觸發完整刷新——例如為了排除意外結果或在修正後重新處理資料。
用 SQL 執行一次性完整刷新
要強制完整刷新特定具體化湖泊視圖,請執行以下指令:
REFRESH MATERIALIZED LAKE VIEW [workspace.lakehouse.schema].MLV_Identifier FULL
備註
如果你的工作區名稱包含空格,請用反引號包圍:`My Workspace`.lakehouse.schema.view_name
關閉最佳刷新率
如果您想要每次排程執行進行完整刷新,可以關閉最佳化刷新切換選項。 這會禁用無刷新和增量策略——每次執行都會重新計算整個資料集,即使來源資料未被更改。