在 Lakehouse 中執行 Delta 資料表維護

對 Delta 資料表執行資料表維護,透過壓縮小檔案、套用讀取優化及移除不再被引用的過時檔案,以保持其長期健康。

你可以在 Fabric 入口網站中,將維護作業作為臨機操作來執行(Lakehouse 資料表的 Maintenance 動作),也可以透過筆記本、管線或 REST API,將其作為已排程且經協調的程序來執行。 Fabric Data Factory 管線包含專屬的 Lakehouse 維護活動(預覽版),可在 Lakehouse Delta 資料表上執行 OPTIMIZE(可選擇搭配 V-order)和 VACUUM,作為排定管線工作流程的一部分。 本文聚焦於臨時入口網站的工作流程。

如需跨工作負載維護指引,包括對 SQL 分析端點、Power BI Direct Lake 及Data Warehouse消費者的建議,請參見 跨工作負載資料表維護與優化。 關於優先程式碼的維護模式,請參見 Delta Lake 表格優化與 V-order 以及用 Fabric REST API 管理湖屋。

從 Lakehouse 執行資料表維護

Lakehouse 中的資料表維護僅適用於 Delta 資料表。 使用Parquet、ORC、AVRO或CSV等格式的舊有Hive表格不被支援。

在 「執行維護指令 」對話框中,根據你的目標選擇選項。

一般做法是在重大擷取或更新活動後,或在遇到大量小檔案且讀取效能較慢時執行維護。

備註

使用管線協調:對於定期維護工作,請使用 Fabric Data Factory 管線中的 Lakehouse 維護活動(預覽)。 它提供相同的選項(OPTIMIZE 與可選的 V-order、VACUUM),並透過相依關係、觸發程序和參數與其他管線步驟整合,因此你可以將維護作業與資料載入串接,並在同一管線中接著執行 重新整理 SQL 分析端點活動。

  1. 從你的 Fabric 帳號,導航到想要的湖畔別墅。

  2. 在 Lakehouse 檔案總管裡,在 表格下,右鍵點擊目標表格(或使用省略號)。

  3. 選取 維護 功能表項。

    截圖顯示執行維護指令對話框。

  4. 在 執行維護指令 對話框中,選擇維護選項:

    • 選擇 「開啟 」選項,將小型 Parquet 檔案壓縮成較大檔案,以提升讀取效率。

    • 如果選取 開啟,您也可以選取 「套用 V 順序」 核取方塊。 當你選擇這個選項時,Fabric 會將 V-order(最佳排序、編碼和壓縮)套用到優化過程中。

      備註

      V-Order 對平均寫入時間影響約 15%。 它還能提供高達 50% 的壓縮。

    • 選擇 開啟 選項,執行 Delta Lake VACUUM 指令,移除比保留閾值還舊且未被參考的檔案。 有關滯留行為與安全細節,請參見 真空滯留設定。

    • 選擇「開啟」選項,將交易合併成Parquet檔案,移除額外的刪除向量檔案,清理空間並優化表格讀取。

  5. 選取 立即 執行 以執行資料表維護作業。

  6. 請追蹤以下任一地點的工作執行情況:

    • 通知 窗格(Fabric 入口網站標頭上的鈴鐺圖示)顯示即時執行狀態。
    • 監控中心(在左側導覽中選擇「監控」)以查看完整工作細節。 尋找活動名稱中包含 TableMaintenance 的由 Portal 啟動的執行。 若要透過 Fabric Data Factory 管線執行維護,請在 監控樞紐 > 管線 檢視中尋找該管線執行,並以 Lakehouse 維護活動名稱篩選。

執行維護後,成功會作為完成的資料表維護活動顯示在通知中,並在監控樞紐中顯示為成功的 TableMaintenance 條目。

欲了解更多關於監控樞紐導航與篩選器的資訊,請參閱 使用監控樞紐。

真空保持設定

這個 VACUUM 指令會移除那些不再被 Delta 日誌參考且比保留閾值還舊的檔案。 預設的保留門檻為七天。

使用較短的保留間隔可減少 Delta 時間旅行歷史,並可能影響同時閱讀或寫入者。 Fabric 入口和 API 維護請求作業在保留間隔少於七天時預設為失敗。

如果您必須使用低於七天的保留間隔,請在您的工作區的 Spark 工作負載所使用的 Fabric 環境中,於 Spark 屬性中將 spark.databricks.delta.retentionDurationCheck.enabled 設定為 false。 欲了解如何在哪裡配置與附加環境,請參閱 Fabric 中的建立、配置與使用 環境,以及 Fabric 環境中的 Spark 運算設定。