Microsoft Fabric 中的跨工作負載資料表維護與優化

Microsoft Fabric 中的 Delta 資料表可從 OneLake 中儲存的資料，服務 Spark、SQL 分析端點、Power BI Direct Lake、Warehouse 及其他 Fabric 體驗。 最佳跨工作負載效能取決於兩個因素：

• 建立和維護表格的工作量。
• 吞噬桌面的引擎。

Lakehouse 資料表通常由 Spark、Fabric pipeline 複製活動 或 Dataflow Gen2 管理。 Spark 是最常見的寫入工具，並提供最廣泛的配置與維護控制選項。 倉庫與資料庫鏡像會自動管理它們的實體佈局。 鏡像目錄會保留來源系統中管理的版面配置。 消費者需求大致相容，但 Power BI Direct Lake 有額外的儲存需求以達到最佳效能。

只要需求相容，就使用同一張共用資料表。 關於需要另建另一張資料表的例外，請參見 「何時建立另一張資料表」。

了解版面所有權

首先，先確認是哪個工作負載負責實體資料表的配置。 下表中的控制項是與跨負載工作表佈局與維護相關的關鍵控制，並非各引擎功能的詳盡清單。

跨工作負載指引

下表總結了生產者與消費者建議的做法。

優化 Lakehouse 表格

Lakehouse Delta 資料表無論是 Spark、Pipeline 複製活動 或 Dataflow Gen2 撰寫，都需要明確的維護策略。 Spark 是本節的主要範例，因為它提供了 Fabric 中最廣泛的佈局與維護控制。

使用 Spark 執行時的預設值

當 Spark 寫入資料表時，請使用 Fabric Spark 執行階段 2.0 或更新版本的預設設定：

• 保持啟用 自適應目標檔案大小 。 它會自動為每個資料表選擇一個 128 MB 到 1 GB 的目標。
• 保持檔案 層級壓縮目標 啟用，以避免重寫先前符合適應目標的檔案。
• 保持刪除向量啟用。
• 不要隨意設定每個檔案的最大列數。 資料列的寬度各不相同，因此對於較窄的資料表，資料列數上限可能會產生過多的小型檔案。

在 Fabric Spark 執行階段 1.3 中，自適應目標檔案大小、檔案層級壓縮目標和刪除向量可作為選擇啟用的設定使用。

當管線複製活動或 Dataflow Gen2 寫入該資料表時，請檢查產生的檔案布局，並另行安排維護作業。 不要以為這些寫程式會套用 Spark 執行時的預設值。

• Fabric 管線可以在寫入後協調執行 Lakehouse 維護作業。

防止並壓縮小型檔案

對於 Spark 撰寫的資料表，請使用 自動壓縮。 此功能在寫入後評估資料表碎片，僅在需要時執行壓縮。 這樣一來，在執行維護前就無需另外進行資料表健康檢查。

請參考以下指引來處理例外及輔助功能：

OPTIMIZE 會壓縮檔案，並在檔案中超過 5% 的記錄被刪除向量參考時，自動清除該檔案的刪除向量。 只有在您必須實際清除低於該門檻的記錄，或需要滿足特定的合規要求時，才使用 REORG TABLE ... APPLY (PURGE)。

使用獨立的排程執行 VACUUM，以在保留期過後移除未參考的檔案。 VACUUM 雖然回收儲存空間，但不會改善主動檔案的配置。

整理用於略過檔案的資料

當重複的篩選或處理模式可因改善略過檔案而獲益時，請使用液態分群。 液態叢集資料表需要 OPTIMIZE或自動壓縮 來整理新寫入的資料。

避免預設分割。 當有特定需求足以合理化這些操作上的取捨時，請使用它；例如，隔離會跨彼此不重疊的分割區更新、刪除或合併資料的並行寫入作業。 欲了解更多資訊，請參閱「何時使用分割」。

對於現有的分割資料表，當選擇性謂詞經常在分割區內依相同欄位進行篩選時，請考慮使用 Z-Order。

優化倉庫管理的資料表

Fabric Data Warehouse 無論擷取方式如何，都能管理實體 Delta 表格的佈局。

利用 Warehouse 提供的策略控制來調整資料版面：

• 當查詢重複使用選擇性謂詞於同一欄位時，對大型資料表應用 資料聚類 。
• 請持續啟用 V-Order ，以支援讀取導向及混合工作負載。 V-Order預設是啟用的。
• 考慮 關閉 V-Order 以處理寫入密集型倉庫工作負載。

欲了解完整的倉庫指引，請參閱Fabric Data Warehouse中的績效指引。

優化鏡像資料

你能否改善實體版面配置，取決於 Fabric 是否複製資料或參考原始檔案：

• 資料庫鏡像：Fabric 將來源資料複製到 OneLake 的 Delta 表格，並管理 V-Ordered 檔案的佈局與維護。 你無法直接在鏡像目的地上設定目標檔案大小、刪除向量清理、液態叢集、分割區設定或 V-Order。
• 鏡像目錄：Fabric 會同步中繼資料，並使用 OneLake 捷徑就地參照來源資料。 Fabric 不會重寫或維護這些檔案。 當支援功能允許時，改善原始碼系統的實體佈局與清理。 這些變更可以透過快捷鍵看到，無需在 Fabric 中建立另一個副本。

針對資料庫鏡像資料：

• 使用選擇性謂詞，避免在 Spark 和 SQL 查詢中加入不必要的欄位。
• 設計 Power BI 語意模型與 DAX 指標，以有效利用 Direct Lake 的使用。

鏡像目錄：

• 使用原始碼平台支援的資料表維護與版面配置功能。
• 評估查詢捷徑的 Fabric 使用者的原始檔案與列群組分布。
• 對於 Direct Lake，當來源配置無法滿足效能需求時，考慮建立額外的維度建模、 V 排序 的服務層。

關於鏡像概念、類型及支援來源，請參見《什麼是 Fabric 中的鏡像？》以及元資料鏡像如何運作。

應用針對消費者的優化

Spark 和 SQL 分析端點在相同的自適應湖屋佈局下表現良好。 使用自適應目標檔案大小，避免產生過多小型檔案，並在已測得的述詞可受益於改進的檔案略過時，套用液態叢集。 不要只為了 Spark 或 SQL 分析端點效能而啟用 V-Order 。 有關引擎的具體細節，請參閱 SQL 分析端點效能考量。

Power BI Direct Lake

Direct Lake 使用相同的底層 Delta 表，但新增了與轉碼與 增量框架相關的建議：

• 檔案與列組配置：避免小 列組 及列組分布不均。 此配置會產生更多 VertiPaq 欄位段，並增加轉碼開銷。
• V-Order：請遵循 跨工作負載指引中的提供者特定建議。 對於主要透過 Direct Lake 使用的 Spark 撰寫的資料表，請啟用 V-Order 或使用 readHeavyForPBI 資源設定檔。
• 更新模式：盡可能偏好附加式更新 模式 ，以保留現有 Parquet 檔案並支援增量框架。

對於 Spark 撰寫的資料表， spark.sql.parquet.native.writer.maxRowGroupRowCount 當 原生執行引擎 寫入 Parquet 檔案時，會設定每列群組的最大列數。 預設值為 0，不施加最大值。 若分析顯示列群組大小影響 Direct Lake 效能，請先設定測試過的限制，再撰寫或重寫表格。 例如：

spark.conf.set("spark.sql.parquet.native.writer.maxRowGroupRowCount", 8_000_000)

不要只為了達到特定的列數而設定限制。 列寬、壓縮、檔案分布與容量平行性也會影響效能。 使用 Delta Analyzer 來評估產生的版面配置。

關於框架、轉碼、列群組、更新模式及 Delta 分析器的詳細指引，請參見 「了解 Direct Lake 查詢效能」。

將指引套用到獎章層

銅、銀、金代表資料用途與精煉。 它們不判定版面配置是由使用者管理還是由系統管理，也不要求為每個取用者分別建立獨立副本。

解決佈局與維護問題

使用以生產者為意識的修復措施。 當目的模式支援這些操作時，對湖屋資料表套用 Spark 維護指令。 將訊號視為指標而非通用閾值，並根據資料表的寫入模式與使用者效能進行驗證。

對於鏡像資料，請遵循 最佳化鏡像資料 中針對生產端的特定補救措施。 資料庫鏡像由系統管理；對於鏡像目錄，請在來源平台上執行受支援的維護作業。

針對 Lakehouse 資料表，Spark 支援的檢查選項包括：

• 執行 DESCRIBE DETAIL 以檢查檔案數量、總大小及評估的 delta.targetFileSize.adaptive 屬性。
• 跑 DESCRIBE HISTORY 去檢視寫入模式和維護歷史。
• 當你需要詳細的 Direct Lake 列群組和更新模式分析時，可以使用 Delta Analyzer 。

檢查平均檔案大小

用 DESCRIBE DETAIL 來計算平均檔案大小，作為表格佈局的初步指標：

details = spark.sql("DESCRIBE DETAIL schema_name.table_name").first()

table_size_gb = details["sizeInBytes"] / (1024**3)
num_files = details["numFiles"]
avg_file_size_mb = (
    details["sizeInBytes"] / num_files / (1024**2)
    if num_files
    else 0
)

print(f"Table size: {table_size_gb:.2f} GB")
print(f"Number of files: {num_files}")
print(f"Average file size: {avg_file_size_mb:.2f} MB")

平均值可以隱藏分割區或最近與先前壓縮檔之間的偏斜。 若平均值顯示可能有佈局問題，請檢查個別 Parquet 檔案或使用 Delta 分析 儀評估分布，再調整維護設定。

何時建立另一張資料表

不要因為多個 Fabric 引擎會消耗資料就另建一個實體資料表。

當它有獨立用途時，建立另一個表格，例如：

• 一種改變資料顆粒或業務意義的轉換或彙整。
• 不同的安全性、保存或資料品質要求。
• 共享資料表無法滿足的延遲或刷新需求。
• 一種針對消費者的配置，其衡量效益超過儲存、處理、血統及治理成本。

相關內容

• 調整 Delta 表格資料檔案的大小
• 壓縮 Delta 資料表
• Delta 表格的刪除向量
• 在 Delta 表格上應用液體叢集
• Delta 資料表的分割
• 使用 V-Order 優化三角洲湖表
• SQL 分析端點效能考量
• 了解 Direct Lake 查詢效能
• Fabric Data Warehouse 中的效能指引
• Fabric 資料倉儲中的資料叢集
• 什麼是Fabric中的鏡像功能？