Microsoft Fabric 中的 Delta 表格維護

Delta 資料表維護可協助你在資料表持續成長時,仍維持其效能與儲存效率。 隨著時間推移,Delta 表格可能會累積許多小檔案,刪除的資料會持續佔用儲存空間,而過時的統計資料則會降低查詢效率。 定期維護有助於提升讀取效能、回收儲存空間,並保持資料表中繼資料與工作負載存取資料的方式保持一致。 請將本文作為 Delta 表格主要維護作業的快速指南。

為什麼維護很重要

隨著 Delta 資料表的成長,寫入活動會改變資料表的實體佈局。 重複的擷取工作可能會產生許多小檔案,更新與刪除操作可能會留下未被參考的檔案或軟刪除的列,而舊的統計資料則可能讓 Spark 更難跳過不必要的資料。 如果你定期維護資料表,可以減少掃描的開銷,幫助 Fabric 更有效優化查詢,也避免支付付費去保留不再需要的活躍資料表版本所需的儲存空間。

使用 OPTIMIZE 進行箱壓縮

當您的 Delta 資料表累積了許多小檔案,且您想將這些檔案整併為數量較少但較大的檔案時,請使用 OPTIMIZE。 此操作透過降低檔案管理負擔並提升掃描效率,提升讀取效能。 OPTIMIZE 同時也支援其他論元與特性,如 VORDER。 完整語法、選項與範例,請參見 資料表壓縮 與 V 階。

OPTIMIZE table_name

使用真空來清理儲存空間

當你想移除比設定保留視窗還舊且未被參考的資料檔案時,請使用 VACUUM 。 在 Fabric 中,此操作幫助你在更新、刪除、合併、覆寫及壓縮後重新領回 OneLake 儲存空間。 VACUUM 它著重於儲存清理而非查詢調整,因此通常輔助其他維護任務,而非取代它們。 關於保留指引與執行細節,請參見 VACUUM。

VACUUM table_name

使用 REORG 進行針對性的重組

當你需要重寫表格狀態以達成特定維護目標時,會用來 REORG 取代一般檔案壓縮。 在 Delta Lake 中, REORG TABLE ... APPLY (PURGE) 物理上移除那些被標記為刪除向量的列。 關於支援的選項及使用時機,請參見 「用 REORG 重組 Delta 表格」。

Note

REORG 通常不需要使用,因為 OPTIMIZE 會自動清除其中超過 5% 的紀錄被刪除向量參照的檔案。

REORG TABLE table_name APPLY (PURGE)

保持統計數據最新

Fabric Spark 執行時支援兩種 Delta 資料表的統計:檔案統計與資料表統計。

  • 檔案統計——Delta Lake 在每次寫入資料檔案時,記錄索引欄位的最小值、最大值及空計數值。 Spark 引擎利用這些統計資料跳過無法包含與查詢謂詞相符列的檔案,從而減少掃描的資料量。 預設會針對前 32 欄收集統計資料。 關於檔案跳過的運作方式及如何自訂統計資料收集欄位的細節,請參見 檔案跳過。
  • 資料表統計—系統會自動維護彙總自資料表中所有檔案的欄位層級統計資料,讓 Spark 擁有更完善的查詢規劃中繼資料。 這些統計數據透過更好的優化決策提升篩選器、連接與聚合的效能。 想了解自動化統計如何運作及如何配置,請參閱「 Delta 表格的自動化統計」。

使用自動壓縮來進行連續檔案管理

Delta Lake 也支援寫入後自動壓縮,讓資料表保持更健康,無需每次都手動處理。 你可以透過資料表屬性或工作區設定來控制這個行為,視你如何管理 Spark 工作負載而定。 關於如何啟用的詳細說明,請參見 自動壓縮 。

從 Lakehouse UI 執行維護

如果你偏好基於 UI 的工作流程,可以直接從 Lakehouse 檔案總管執行維護操作,詳見 Lakehouse 表格維護。

遵循實用的維護節奏

在大量批次擷取後執行 OPTIMIZE ,或當小檔案開始累積並導致讀取變慢時執行。 以規律的節奏執行 VACUUM ,例如每週一次或在主要壓縮週期後,從資料表不再參考的檔案中回收儲存空間。 REORG TABLE ... APPLY (PURGE) 不需要例行維護,因為 OPTIMIZE 刪除向量會自動清除超過 5% 紀錄的檔案。 請保留 PURGE 給需要明確控制的情況,例如合規或GDPR義務。 透過 DESCRIBE DETAIL 和 DESCRIBE HISTORY 監控資料表狀態,以便追蹤每次操作前後的檔案數量、大小和維護記錄。

-- View current table state
DESCRIBE DETAIL table_name;

-- View history of transactions
DESCRIBE HISTORY table_name;