REORG TABLE

適用於：勾選為是 Databricks SQL 勾選為是 Databricks Runtime 11.3 LTS 和更新版本

重寫檔案以移除軟刪除的資料，例如 DROP 的資料行資料，或執行 Delta Lake 檢查點以改善中繼資料管理，從而重組 Delta Lake 資料表。

語法

REORG [ TABLE ] table_name { [ WHERE predicate ] APPLY ( PURGE ) |
                             APPLY ( UPGRADE UNIFORM ( ICEBERG_COMPAT_VERSION = version ) |
                                     CHECKPOINT |
                                     SET PARQUET ( FORMAT_VERSION = version ) ) }

針對 15.4 之前的 Databricks Runtime 版本，TABLE 是必須的關鍵字。

注意

  • APPLY (PURGE) 只會重寫包含軟刪除資料的檔案。
  • APPLY (UPGRADE) 可能會重寫所有檔案。
  • REORG TABLE 是 等冪，這表示如果在相同的數據集上執行兩次，則第二次執行沒有任何作用。
  • 執行 APPLY (PURGE)之後，虛刪除的數據可能仍存在於舊檔案中。 您可以執行 VACUUM，以實際刪除舊檔案。
  • APPLY (CHECKPOINT) 需要表格啟用 檢查點 V2 ，以防止因競賽條件造成的損壞。
  • APPLY (SET PARQUET (FORMAT_VERSION)) 使用指定的 Parquet 格式版本重寫所有資料檔案。

參數

  • table_name

    識別現有的 Delta 數據表。 名稱不得包含 時態規格或選項規格。

  • WHERE 謂詞

    針對 APPLY (PURGE)，重新組織符合指定分割述詞的檔案。 僅支援涉及分割區索引鍵屬性的篩選。

  • APPLY (PURGE)

    指定檔案重寫的目的是要清除虛刪除的數據。 請參閱 清除僅限元數據刪除以強制數據重寫。

  • APPLY (UPGRADE UNIFORM ( ICEBERG_COMPAT_VERSION = version ))

    適用於：勾選為「是」 Databricks SQL 勾選為「是」 Databricks Runtime 14.3 和更高版本

    指定檔案重寫的目的是將數據表升級至指定的 Apache Iceberg 版本。 version 必須是 1 或 2。

  • APPLY (CHECKPOINT)

    適用於：核取標記為 yes Databricks Runtime 16.3 和更新版本

    在資料表的最新 Delta 版本上執行 Delta 檢查點。

  • APPLY (SET PARQUET ( FORMAT_VERSION = version ))

    適用於：已勾選為 Databricks 執行環境 18.2 及以上版本

    以指定的 Parquet 格式版本重寫所有資料檔案，並更新 delta.parquet.format.version 資料表屬性。 version 必須是 ’1.0.0’ 或 ’2.12.0’。

    參見 Parquet v2。

範例

> REORG TABLE events APPLY (PURGE);

> REORG TABLE events WHERE date >= '2022-01-01' APPLY (PURGE);

> REORG TABLE events
    WHERE date >= current_timestamp() - INTERVAL '1' DAY
    APPLY (PURGE);

> REORG TABLE events APPLY (UPGRADE UNIFORM(ICEBERG_COMPAT_VERSION=2));

> REORG TABLE events APPLY (CHECKPOINT);

> REORG TABLE events APPLY (SET PARQUET (FORMAT_VERSION = '2.12.0'));
  • 上次更新時間：