Delta Lake 中的高效率欄位更新

Important

這項功能位於 測試版 (Beta) 中。 要使用此功能,工作區管理員必須從「預覽」頁面啟用高效欄位更新。 請參閱 管理 Azure Databricks 預覽。

Efficient Column Updates (ECU) 讓您在 Delta Lake 資料表中新增及回填欄位,而無需重寫未變更的欄位。 使用它來填充現有資料集中的新特徵、嵌入及其他衍生值。

新增欄位會變更資料表結構,但不會重寫現有資料。 要將該欄位填入數值,可能需要重寫包含受影響資料列的資料檔案,包括未曾變更的欄位。 Efficient Column Updates 透過將更新後的欄位值寫入獨立的 Parquet 檔案,避免未變更欄位的重寫。

當您在包含大型有效載荷或嵌入的資料表中新增少量欄位時,這特別有用。 查詢持續回傳一個邏輯資料表,將現有資料與更新後的欄位值合併。

下圖比較新增與回填欄位的過程。 灰色區塊代表現有欄位資料,綠色區塊代表新的欄位資料,紅色邊框則用來標示已重寫的資料。

若沒有有效欄位更新,回填會重寫整個資料檔案。只有新的欄位值會寫入獨立檔案。

  • 答:在沒有 ECU 的情況下,回填會用包含未變更欄位與新欄位的檔案取代原本的資料檔案(虛線輪廓)。
  • B:使用 ECU 時,原始檔案會被保留,而新的欄位值則寫入獨立檔案。

Requirements

  • 使用 Databricks Runtime 19 或更新版本,從啟用 Efficient Column Updates 的資料表讀取或寫入資料表。
  • 使用啟用 目錄提交 的 Unity Catalog 管理 Delta Lake 資料表。
  • 在表格上啟用 資料列追蹤 與 刪除向量。
  • 在'delta.columnMapping.mode' = 'id'模式中使用id()。 此模式必須在資料表建立時設定。
  • 從工作區 預覽 頁面啟用 Beta 版功能。

啟用高效的欄位更新

您可以在建立資料表或在符合需求的現有資料表上啟用「高效欄位更新」。 啟用前請先檢視 限制 事項。

若要建立啟用「高效欄位更新」的資料表,請一併設定 delta.enableColumnUpdates-preview 資料表屬性與所需功能的屬性:

CREATE TABLE documents (
  document_id BIGINT,
  description STRING
)
TBLPROPERTIES (
  'delta.feature.catalogManaged' = 'supported',
  'delta.enableRowTracking' = 'true',
  'delta.enableDeletionVectors' = 'true',
  'delta.columnMapping.mode' = 'id',
  'delta.enableColumnUpdates-preview' = 'true'
);

對於已在模式中使用欄位映射 id 的現有資料表,若尚未啟用,請啟用目錄提交、列追蹤及刪除向量:

ALTER TABLE documents SET TBLPROPERTIES (
  'delta.feature.catalogManaged' = 'supported',
  'delta.enableRowTracking' = 'true',
  'delta.enableDeletionVectors' = 'true'
);

接著啟用「高效欄位更新」功能:

ALTER TABLE documents SET TBLPROPERTIES (
  'delta.enableColumnUpdates-preview' = 'true'
);

如果遇到問題,你可以回復為標準更新。

新增並回填欄位

以下範例使用既有的 documents 資料表,包含一個 document_id 欄位與 description 一個字串欄位。 它會新增一個欄位,包含每個描述的長度:

ALTER TABLE documents ADD COLUMN text_length INT;

UPDATE documents
SET text_length = LENGTH(description);

新增欄位後,現有列在 text_length 中會包含 NULL,直到 UPDATE 填入其值為止。 高效欄位更新讓回填可以寫入新的欄位值,而不必重寫未變更的欄位。

查詢資料表以檢查已填入的值:

SELECT document_id, description, text_length
FROM documents
LIMIT 10;

高效的欄位更新減少回填期間重寫的資料量。 更新仍會讀取輸入欄位並計算新值。

啟用高效欄位更新並不保證每個 UPDATE 都會使用它。 在某些情況下,Azure Databricks 會退回標準更新,重寫受影響的資料檔案。 更新仍然成功,並產生相同的結果。

回滾至標準更新

如果您在使用「高效欄位更新」時遇到問題,請停用新的欄位更新並整合現有欄位檔案:

  1. 停止寫入新的資料欄檔案:

    ALTER TABLE documents SET TBLPROPERTIES (
      'delta.enableColumnUpdates-preview' = 'false'
    );
    
  2. 使用 REORG TABLE 重寫包含欄位檔案的資料檔案:

    REORG TABLE documents APPLY (PURGE);
    

REORG 將最新的欄位值寫入重寫的資料檔案,建立不含欄位檔案的新資料表版本。 更新後的數值會被保留。 較早的資料表版本仍可參照資料行檔案。

表格功能在表格協定中仍然啟用,因此讀取與寫入仍需 Databricks Runtime 19 或更高版本。

Limitations

  • Efficient Column Updates 與寫入時變更資料饋送(CDF)不相容。 請參閱 「舊有變更資料饋送」。
  • Efficient Column Updates 與 Universal Format(UniForm)不相容。
  • 不支援 Apache Iceberg 管理的資料表。
  • MERGE 操作不使用高效欄位更新。
  • 不支援移除 Efficient DROP FEATURE Column Updates。 Databricks 建議你不要在關鍵資料表上啟用它。 若要停止使用欄位更新,請參閱「 回滾至標準更新」。
  • 不支援湖流量管線。