布隆過濾器索引(已棄用)

Important

不要使用布隆過濾器索引。 Azure Databricks 已經棄用此功能。 Databricks 建議從你的資料表中移除所有現有的 Bloom 過濾器索引。

布隆過濾器索引是 Delta Lake 資料表的舊有資料跳過機制。 它們會增加寫入負擔、調整困難,並被更有效的替代方案所取代。 布隆過濾器索引與 Apache Parquet 檔案格式中定義的布隆過濾器不同,且此棄用不適用於 Parquet 布隆過濾器。 請參考 Parquet Bloom 篩選器。

如果你的資料表有 Bloom 篩選索引,請用推薦的替代方案替換,然後移除索引。

改用以下功能:

  • 預測 I/O:在 Databricks Runtime 12.2 及以上版本的計算中開啟 Photon 時,預測 I/O 會自動對所有欄位進行檔案跳過。 它完全取代了 Bloom 濾波器索引,而啟用 Photon 時會增加的寫入負擔只有在這種情況下才會出現。
  • 液態叢集:在 Databricks Runtime 13.3 及以上版本中,液態叢集透過根據頻繁篩選欄位組織資料,改善跳過資料的情況。

移除現有的布隆濾波器索引

如果您的資料表上已有 Bloom 濾波器索引,請刪除它們,以減少不必要的寫入負擔。

DROP BLOOMFILTER INDEX ON TABLE table_name

如需語法詳細數據,請參閱 DROP BLOOM FILTER INDEX。

移除所有 Bloom 篩選索引後,執行 VACUUM 以清理目錄底 _delta_index 層的索引檔案。