設計和實作叢集策略
小提示
有關更多詳細信息,請參閱 文本和圖像 選項卡!
優化資料在磁碟上的實體組織方式,直接影響 查詢效能 與 儲存效率。 當你為 Delta Lake 資料表設計分群策略時,你決定查詢引擎如何定位並檢索相關資料。 正確的方法能大幅減少查詢時掃描的資料量,降低回應時間與計算成本。
Azure Databricks 提供多種互補的資料組織技術。 了解何時應用 液態聚類、 Z 排序或 刪除向量 ,有助於你做出平衡效能、維護工作量及與現有資料表相容性的決策。
了解略過資料的基本原理
在檢驗特定的叢集技術之前,重要的是要了解它們都利用的基礎機制:略過資料。 Delta Lake 會自動為每個資料檔案收集統計資料,包括最小值與最大值、空值計數,以及每欄的記錄計數。 當你執行帶有篩選條件的查詢時,查詢引擎會先檢查這些統計資料,並跳過那些不可能包含匹配紀錄的檔案。
例如,如果你查詢 2026 年 1 月的銷售資料,而某個檔案的統計數據顯示只包含 2026 年 3 月的紀錄,引擎會完全跳過該檔案,而不會讀取其內容。 這種優化是自動進行的,但其成效取決於你的資料組織得如何。
當相關紀錄一起儲存在同一檔案中時,資料跳過的效果會非常顯著。 如果每個月的紀錄隨機散落在所有檔案中,引擎無法跳過任何檔案,因為每個檔案都包含每個月的紀錄。 有聚類技術正用於解決這個問題。
為新資料表實作液體叢集
液態叢集是新 Delta Lake 資料表中資料組織的 推薦方法 ,也可在 Unity Catalog(Databricks Runtime 16.4 LTS 及以上版本)中管理的 Apache Iceberg 資料表公開預覽版中提供。 與傳統分區不同,液態叢集允許你 改變叢集策略,而不必重寫現有資料。 當查詢模式不斷變化,或不確定哪些欄位會被最常被篩選時,這種彈性非常寶貴。
備註
對於 Unity Catalog 中的受管理 Iceberg 表格,指定 PARTITION BY 子句會被解讀為液態叢集鍵,而非傳統的 Hive 風格分割區。 沒有 Iceberg 專屬的分區行為;所有佈局優化都經過液態聚類。
要啟用液態聚類,建立表格時請使用以下 CLUSTER BY 子句:
CREATE TABLE sales.transactions (
transaction_id STRING,
customer_id STRING,
product_category STRING,
region STRING,
transaction_date DATE,
amount DECIMAL(12,2)
)
CLUSTER BY (region, transaction_date);
您最多可以指定 四個叢集索引鍵。 選擇在查詢篩選中經常出現的欄位。 分群鍵的順序不如選擇正確的欄位重要,因為液態分群會同時優化所有指定鍵。
建立叢集資料表後,執行 OPTIMIZE 對資料套用叢集的指令:
OPTIMIZE sales.transactions;
液體聚類是 漸進式的。 每次 OPTIMIZE 執行只聚類需要重新組織的資料,使定期維護更有效率。 Databricks 建議對於頻繁插入或更新的資料表,每隔一到兩小時安排 OPTIMIZE 作業。
小提示
對於 Unity Catalog 管理的資料表,啟用 預測優化 以自動化 OPTIMIZE 作業。 Azure Databricks 會分析你的工作負載模式並自動執行維護作業。
需要時更換叢集鍵
液態叢集相較於分割的一大優勢是能夠調整您的叢集策略。 如果你的查詢模式改變,請用以下 ALTER TABLE 陳述更新群集鍵:
ALTER TABLE sales.transactions
CLUSTER BY (customer_id, transaction_date);
後續 OPTIMIZE 操作則採用新的聚類方法。 先前寫入的資料不會自動重寫。 要對所有現有資料套用新的叢集,請執行:
OPTIMIZE sales.transactions FULL;
啟用自動分群鍵選擇
Azure Databricks 可以根據你的實際查詢模式,智慧地選擇叢集鍵。 自動液體叢集分析工作負載歷程記錄,並選擇能提供最大略過資料效益的資料行:
CREATE TABLE sales.orders CLUSTER BY AUTO;
你可以在現有資料表上啟用自動叢集功能:
ALTER TABLE sales.transactions CLUSTER BY AUTO;
自動液體聚類需要啟用預測優化。 Azure Databricks 會定期評估不同的叢集金鑰是否能提升效能,並相應調整策略。
從 Z 排序遷移到 液態叢集
Z 排序是一種傳統技術,透過組織資料以在同一檔案中共置相關資訊。 雖然新表格建議使用液態叢集,但你會遇到使用Z排序的現有表格,需要了解兩種方法。
Z 排序使用 OPTIMIZE 子句的 ZORDER BY 命令:
OPTIMIZE sales.legacy_transactions
ZORDER BY (region, transaction_date);
Z 排序與液體聚類在幾個重要方面有所不同:
| 層面 | 液體群集 | Z 排序 |
|---|---|---|
| 關鍵彈性 | 變更鍵而無需資料重寫 | 更改鍵需要完全重寫 |
| 寫入效能 | 將符合條件的操作寫入叢集 | 僅在優化期間執行 |
| 並行寫入 | 支援資料列層級並行 | 交易層級並行 |
| Compatibility | 需要 Databricks Runtime 13.3 LTS 或更高版本 | 支援所有執行環境 |
當你繼承一個 Z 順序的表格時,你有兩個選擇。 繼續使用 Z 排序以提升一致性,或轉向液態聚類以提升彈性。 要遷移,首先在現有未分割的資料表上啟用液態叢集:
ALTER TABLE sales.legacy_transactions
CLUSTER BY (region, transaction_date);
接著執行完整優化,重新整理所有現有資料:
OPTIMIZE sales.legacy_transactions FULL;
這很重要
液體叢集與分割不相容。 對於分割資料表,評估液態聚類的優點是否值得遷移到非分割資料表結構。
管理刪除向量以提升更新效率
刪除向量則處理資料組織的另一個面向:Delta Lake 如何處理修改或刪除的紀錄。 預設情況下,當你更新或刪除 Parquet 檔案中的單一列時,Delta Lake 必須 重寫整個檔案。 對於經常修改的資料表,這會造成相當大的開銷。
啟用刪除向量後,Delta Lake 會在另一個元資料檔 中標記已刪除的列 ,而非立即重寫 Parquet 檔案。 後續讀取會即時套用這些刪除,將原始檔案與刪除向量結合,以回傳準確結果。
預設情況下,使用Databricks Runtime 14.1或以上版本建立的新資料表會啟用刪除向量。 你可以在現有資料表上明確啟用:
ALTER TABLE sales.transactions
SET TBLPROPERTIES ('delta.enableDeletionVectors' = true);
刪除向量會在資料檔案重寫過程中以物理方式套用:
- 一個
OPTIMIZE命令 - 自動壓縮觸發器
- 一次
REORG TABLE ... APPLY (PURGE)手術
對於需要確保已刪除資料被實體移除的合規性案例,請執行 REORG 操作,然後執行 VACUUM:
REORG TABLE sales.transactions APPLY (PURGE);
VACUUM sales.transactions;
刪除向量也支援 列層級的並行性,允許多個並行交易修改同一資料表中不同的列而不衝突。 這項功能對於更新量大的資料表特別有價值。