Azure Databricks 中的封存支援

重要

這項功能適用於 Databricks Runtime 13.3 LTS 和更新版本公開預覽。

透過 Azure Databricks 的歸檔支援,你可以在包含 Delta Lake 資料表的雲端物件儲存上使用基於雲端的生命週期政策。 啟用 Delta Lake 資料表的歸檔支援時,實際上會告訴 Azure Databricks 忽略超過指定期間的檔案。

雲端生命週期原則透過將舊檔案移至歸檔儲存層級來降低儲存成本。 若無歸檔支援,生命週期政策可能會導致對 Delta Lake 資料表的查詢失敗,因為查詢讀取的資料檔案已無法取得。 請參閱「為什麼你應該啟用檔案支援?」。

何時使用封存支援

當以下條件全部成立時,請在資料表上啟用歸檔支援:

  • 你會使用生命週期原則,根據檔案建立時間來封存資料表的資料檔案。
  • 大多數對資料表的查詢會讀取近期資料或過濾已歸檔的檔案。
  • 需要歸檔資料的查詢不常見,你可以等有人在雲端服務的儲存空間還原這些檔案後再重新執行查詢。 請參見 還原已歸檔檔案。

如果你的查詢經常掃描表格的完整歷史,請不要使用存檔支援。 需要已封存的檔案的查詢會失敗。 封存支援也不支援基於存取時間或標籤的生命週期政策。 請參閱限制。

要求

Azure Databricks 只支援 Azure Archive 封存。 請參閱 Azure 檔,瞭解如何使用生命週期管理將成本優化。

為什麼要啟用封存支援?

封存支援僅允許查詢在不動用封存檔案的情況下返回正確結果。 這些查詢包括下列其中一項:

  • 僅查詢元數據。
  • 具有不需要掃描任何封存檔案的篩選器。

所有需要封存盤案數據的查詢都會失敗。

重要

Azure Databricks 永遠不會傳回要求封存盤案傳回正確結果的查詢結果。

在 Azure Databricks 中啟用數據表的封存支援,並不會建立或改變針對雲端物件記憶體定義的生命周期原則。 請參閱 變更生命週期管理轉換規則。

若無歸檔支援,對 Delta Lake 資料表的操作可能會因資料檔案或交易日誌檔案移至歸檔位置而出問題,查詢時無法取得。 封存支援引入優化,避免不必要地查詢封存資料。 它也會新增語法,以識別必須從封存記憶體還原以完成查詢的檔案。

針對已歸檔資料的優化查詢

Azure Databricks 的封存支援會針對 Delta Lake 表格優化這些查詢。

查詢 新的行為
SELECT * FROM <table_name> LIMIT <limit> [WHERE <partition_predicate>] 自動忽略封存檔案,並從非封存的儲存層級數據回傳結果。
Delta Lake 維護命令:OPTIMIZE、、ZORDER、 ANALYZEPURGE 自動忽略封存檔案,並在數據表其他部分執行維護。
DDL 與 DML 語句,用於覆寫資料或刪除資料,包括 REPLACE TABLE、 INSERT OVERWRITE、 TRUNCATE TABLE、 DROP TABLE 將目標封存資料檔的事務歷史記錄項目標示為已刪除。
FSCK REPAIR TABLE 忽略已封存的檔案,並只檢查尚未達到生命周期原則的檔案。

早期失敗和錯誤訊息

對於必須掃描歸檔檔案以產生正確結果的查詢,設定 Delta Lake 的歸檔支援會有以下影響:

  • 如果查詢嘗試存取封存檔案,查詢會提早失敗,從而減少計算資源的浪費,並讓使用者快速調整及重新執行查詢。
  • 錯誤訊息會通知使用者查詢失敗,因為查詢嘗試存取封存的檔案。

用戶可以產生必須使用 SHOW ARCHIVED FILES 語法還原的檔案報告。 請參閱 查看已封存檔案。

重要

如果您收到錯誤 Not enough files to satisfy LIMIT,則數據表在未封存的檔案中沒有足夠的數據列,以滿足 LIMIT所指定的記錄數目。 LIMIT降低子句來尋找足夠的未歸檔資料列,以符合指定的 LIMIT。 請參閱限制。

啟用封存支援

你可以透過在底層的雲端生命週期管理政策中手動指定歸檔區間來啟用 Delta Lake 資料表的歸檔支援。

ALTER TABLE <table_name> SET TBLPROPERTIES(delta.timeUntilArchived = 'X days');

設定 timeUntilArchived 時間會讓 Azure Databricks 忽略你 Delta Lake 資料表中超過指定時間段的檔案。 這個設定與你雲端帳號的生命週期政策是分開的。 對其中一方的變更不會影響另一方。 如果你在雲端帳號更新生命週期政策,也必須更新 Delta Lake 表格上的歸檔設定。 請參閱 變更生命週期管理轉換規則。

當你在雲端帳號設定新的生命週期政策時,變更可能需要長達 24 小時才會生效。 請參閱 生命週期管理政策執行。

如果你啟用此設定且未設定生命週期政策,則存檔支援會讓查詢成功,結果會包含標記為歸檔檔案的資料。 請參閱 Azure Databricks 如何取樣還原資料?

警告

你的雲端生命週期政策不得歸檔 Delta 交易日誌(_delta_log/ 目錄)。 請參閱限制。

重要

檔案支援完全依賴相容的 Azure Databricks 運算環境,且僅適用於 Delta Lake 資料表。 設定封存支援不會變更 OSS Delta Lake 用戶端或 Databricks Runtime 12.2 LTS 和以下的行為、相容性或支援。

顯示封存盤案

要識別必須還原以完成特定查詢的檔案,請使用 SHOW ARCHIVED FILES。

SHOW ARCHIVED FILES FOR table_name [ WHERE predicate ];

此操作會將已歸檔檔案的檔名回傳為 Spark DataFrame。 根據物件儲存提供者的文件指示,還原必要的封存檔案。 請參見 還原已歸檔檔案。

如需了解 Azure Databricks 如何檢查已還原數據的方法,請參閱 Azure Databricks 如何檢查已還原數據的方法?。

注意

在此作業期間,Delta Lake 只能存取事務歷史記錄中包含的數據統計數據。 預設情況下,這些統計數據是表中前32欄所收集的:

  • 最小值
  • 最大值
  • 空值計數
  • 記錄總數

傳回的檔案包含所有必須讀取的封存盤案,以判斷符合述詞的記錄是否存在於檔案中。 Databricks 建議提供述詞,其中包含數據分割、z 排序或叢集的欄位,以減少必須還原的檔案數目。

還原已歸檔的檔案

要識別所有需要還原的檔案,請使用 SHOW ARCHIVED FILES 查看已歸檔檔案清單。

使用 rehydrate API 將檔案還原到線上儲存層級。 請參閱 從封存層重新水合 Blob。

在還原雲端服務提供者儲存空間的檔案後,你可以查詢你的資料表。 封存支援會自動辨識已還原的檔案。 如需了解 Azure Databricks 如何檢查已還原數據的方法,請參閱 Azure Databricks 如何檢查已還原數據的方法?。

更新或刪除封存的數據

當您執行影響封存檔案中數據的 MERGE、UPDATE 或 DELETE 作業時,操作會失敗。 您必須將數據還原到支援快速擷取的儲存層,才能執行這些作業。 用來 SHOW ARCHIVED FILES 判斷你需要還原哪些檔案(參見 還原已歸檔的檔案)。

Azure Databricks 如何對還原的數據進行抽樣?

當 Azure Databricks 針對已啟用封存支援的數據表準備掃描時,它會取樣比查詢所需的指定保留期間還舊的檔案,以判斷是否已還原檔案。 如果結果指出假設已封存的取樣檔案已還原,Azure Databricks 會假設已還原查詢的所有檔案,以及查詢程式。 結果包括來自標記為存檔的檔案中的數據。

抽樣可能不適用於所有查詢,詳見 限制。

限制

檔案支援有以下限制:

  • 存檔支援僅適用於數據文件。 若 Delta 交易日誌_delta_log/ (目錄)中的任何檔案被移至已歸檔的儲存層,該資料表將完全無法存取,所有對該資料表的查詢皆告失敗。 你必須設定雲端生命週期政策,避免 _delta_log/ 路徑被包含在歸檔中。 請參閱 S3 生命週期配置範例。
  • 生命週期管理原則不支援不以檔案建立時間為基礎的原則。 這包括存取時間型原則和標籤原則。
  • 您無法在具有存檔檔案的資料表上使用 DROP COLUMN。
  • REORG TABLE APPLY PURGE 盡最大努力嘗試,但只適用於刪除向量檔案和未封存的參考數據檔。 PURGE 無法刪除封存的刪除向量檔案。
  • 擴充生命週期管理轉換規則會導致非預期的行為。 請參閱 延伸生命週期管理轉換規則。
  • LIMIT 啟用歸檔支援的資料表查詢不會觸發還原資料的取樣。 如果資料表的資料被還原,大多數查詢在查詢還原後的資料時會成功,但查詢 LIMIT 會回傳 DELTA_ARCHIVED_FILES_IN_LIMIT 錯誤。 請參閱 Azure Databricks 如何取樣還原資料?

變更生命週期管理轉換規則

如果你更改了雲端生命週期管理轉換規則的時間間隔,必須將屬性 delta.timeUntilArchived 更新到相同的時間間隔。

若歸檔前的時間區間縮短(檔案建立後時間較短),Delta Lake 資料表的歸檔支援在資料表屬性更新後仍能正常運作。

擴充生命週期管理轉換規則

如果擴充封存之前的時間間隔(若要在觸發封存之前新增更多時間),將屬性 delta.timeUntilArchived 更新為新值可能會導致錯誤。 當數據保留原則變更時,雲端提供者不會自動從封存記憶體還原檔案。 這表示先前符合封存資格的檔案,但現在未被視為符合封存資格的檔案仍會封存。

重要

若要避免錯誤,請勿將 屬性 delta.timeUntilArchived 設定為大於最近封存數據實際存留期的值。

請考慮將封存時間間隔從 60 天變更為 90 天的案例:

  1. 原則變更時,會封存 60 到 90 天之間的所有記錄。
  2. 在 30 天內,沒有新檔案被封存(當政策被延長時,最舊的未封存檔案的年齡為 60 天)。
  3. 30 天后,生命周期原則會正確描述所有封存的數據。

delta.timeUntilArchived 設定會根據 Delta 交易日志記錄的檔案建立時間,追蹤設定的時間間隔。 它沒有對基礎原則的明確知識。 在舊的歸檔門檻與新的歸檔門檻之間的過渡期間,你可以採取以下方法之一來避免查詢已歸檔的檔案:

  1. 您可以將設定 delta.timeUntilArchived 保留為舊的臨界值,直到所有檔案都經過足夠的時間才能封存。
    • 在上述範例之後,每天前 30 天,Azure Databricks 會將另一天的數據視為封存,但仍需要由雲端提供者封存。 這不會產生錯誤,但會忽略一些可能查詢的數據檔。
    • 30 天後,將 delta.timeUntilArchived 更新為 90 days。
  2. 您可以每天更新設定 delta.timeUntilArchived,以反映延遲期間目前的間隔。
    • 雖然雲端原則設定為90天,但封存數據的實際存留期會實時變更。 例如,在 7 天后,將設定 delta.timeUntilArchived 為 67 days 精確反映所有封存數據檔的存留期。
    • 只有在您必須存取熱存取層中的所有資料時,才需要使用此方法。

注意

更新 delta.timeUntilArchived 的值並不會變更要封存的數據。 它只會變更 Azure Databricks 如何處理被視為封存的數據。