Databricks 特徵儲存庫是用於您 AI 與 ML 模型中所使用特徵的中央登錄系統。 當你在 Unity Catalog 註冊功能與模型時,你會獲得內建治理、資料沿襲、時間點聯結,以及跨工作空間的功能共享與發現功能。
你可以用兩種策略撰寫功能。 兩者皆產生由 Unity Catalog 管理的特徵,並發佈至 Online Feature Store。 對於新使用情境,Databricks 推薦 Feature Views。 更多細節請參見 選擇編寫策略 。
使用 Databricks,整個模型定型工作流程都會在單一平台上進行,包括:
- 擷取原始數據、建立特徵數據表、定型模型,以及執行批次推斷的數據管線。
- 只需單擊即可使用且提供毫秒級延遲的模型及功能服務端點。
- 資料和模型監測。
當你使用 Databricks 功能庫的功能來訓練模型時,模型會自動追蹤到訓練中使用的功能譜系。 在推論時,模型會自動查詢最新的特徵值。 Databricks 功能庫也提供即時應用的隨需特徵計算,負責所有特徵計算任務。 這消除了訓練/服務偏差,確保推理時使用的特徵計算與模型訓練期間使用的特徵計算相同。 它也大幅簡化了用戶端程式碼,因為所有功能查詢與計算皆由 Databricks 功能庫處理。
備註
本頁介紹了適用於啟用 Unity 目錄的工作區的 Databricks 功能商店。 如果你的工作區沒有啟用 Unity Catalog,請參考Workspace 功能存儲(已被淘汰)。
Feature Store 的運作方式
如需了解 Databricks 功能商店的運作方式及術語詞彙表,請參閱 Databricks 功能商店總覽與詞彙表。
選擇撰寫策略
Feature Store 支援兩種撰寫功能的方式。 兩者皆可建立由 Unity 目錄管理的特徵,且皆可發佈至 Online Feature Store。 新案件建議使用功能檢視,但功能資料表則適合需要 Delta 共享的工作負載。
| Strategy | 最適合用於 | 運作原理 |
|---|---|---|
| 特色檢視(建議) | 大部分新專案、時間窗聚合和串流功能。 | 將特徵以 Unity Catalog Feature 物件的方式宣告性定義。 Databricks 負責建立並管理特徵管道。 你可以在註冊前,在筆記本中實驗本地定義的特徵,並實體化特徵管線。 串流特徵檢視表支援亞秒級的新特徵資料,並可直接從 即時模式 寫入至 線上特徵商店。 |
| 特徵表 | 需要 Delta Sharing 或第三方線上商店的工作負載。 | 將特徵值寫入 Unity 目錄中的 Delta 表格,該表有主鍵。 你擁有負責填入並重新整理資料表的流程。 |
功能開發
| 特徵 / 功能 | Description |
|---|---|
| 功能視圖 | 利用特徵檢視(Feature Views)來宣告式定義並計算特徵,包括時間窗彙整與串流特徵。 |
| 實體化特徵檢視 | 具體化功能視圖,用於離線訓練或線上推論。 |
| 回填 Feature Views | 在修正或新增歷史來源資料後,重新計算實體化特徵值。 |
| 清除實體的特徵值 | 從線下與線上儲存區移除所選實體的實體化特徵值。 |
| Unity Catalog 中的特徵資料表 | 建立和使用特性表。 |
探索和分享功能
| 特徵 / 功能 | Description |
|---|---|
| 探索 Unity 目錄中的特徵表 | 使用「目錄總管」和「功能」UI探索和管理功能表格。 |
| 在 Unity Catalog 中使用標籤來搭配功能資料表和功能 | 使用簡單的索引鍵值組來分類和管理您的功能表和功能。 |
| 探索 Unity 目錄中的功能檢視 | 在 Databricks 介面中瀏覽功能檢視的定義與實體化狀態。 |
在訓練工作流程中使用特性
| 特徵 / 功能 | Description |
|---|---|
| 具備特徵表的列車模型 | 使用特徵來訓練模型。 |
| 時間點功能聯結 | 使用時間點正確性來建立訓練資料集,以反映記錄標籤觀察時的特徵值。 |
| 特徵工程 Python API | Python API 參考文件 |
服務特點
| 特徵 / 功能 | Description |
|---|---|
| Databricks 線上功能存放區 | 將特徵資料提供給線上應用程式和即時機器學習模型。 由 Databricks Lakebase 提供支援。 |
| 具有自動功能查詢的模型服務 | 自動從線上商店查詢功能值。 |
| 提供圖徵表 | 將功能提供給 Databricks 外部的模型和應用程式。 |
| 隨選特徵計算 | 計算推斷時的特徵值。 |
特徵治理和來源追溯
| 特徵 / 功能 | Description |
|---|---|
| 功能治理和譜系 | 使用 Unity 目錄來控制功能表的存取,並檢視功能表、模型或函式的譜系。 |
Tutorials
| 教程 | Description |
|---|---|
| 入門的筆記本範例 |
基本筆記本。 示範如何建立特徵資料表、使用它來定型模型,以及使用自動特徵查閱來執行批次評分。 也顯示功能工程 UI,以搜尋功能並檢視譜系。 計程車範例筆記本。 顯示建立特徵、更新特徵,以及將其用於模型訓練和批次推論的過程。 |
| 範例:部署和查詢功能服務端點 | 教學課程和範例筆記本,示範如何部署和查詢功能服務端點。 |
| 範例:使用具有結構化 RAG 應用程式的功能 | 教學課程示範如何使用 Databricks 線上資料表和特徵服務端點來支援擷取增強生成(RAG)應用程式。 |
| 使用宣告式自動化套件管理 Feature Views | 教學示範如何在套件中宣告 Feature Views 及其實體化,然後部署、變更及拆除它們。 |
| 使用 Declarative Automation Bundles 提供 Feature Views | 教學示範如何透過套件中宣告的 FeatureSpec 和功能服務端點來提供功能檢視。 |
需求
要使用 Databricks 功能儲存庫,您的工作區必須啟用 Unity Catalog。 如果你的工作區沒有啟用 Unity Catalog,請參考Workspace 功能存儲(已被淘汰)。
支援的資料類型
Databricks 功能商店與舊有的工作區功能商店支援以下 PySpark 資料類型:
IntegerTypeFloatTypeBooleanTypeStringTypeDoubleTypeLongTypeTimestampTypeDateTypeShortTypeArrayType-
BinaryType[1] -
DecimalType[1] -
MapType[1] -
StructType[2]
[1] 在 Unity Catalog 的所有特性工程版本以及工作區特性存放區 v0.3.5 或更高版本中,BinaryType、DecimalType和 MapType 均獲得支援。
[2] 特徵工程 v0.6.0 或更新版本支援 StructType。
上述資料類型支援機器學習應用程式中常見的特徵類型。 例如:
- 您可以將密集向量、張量和內嵌儲存為
ArrayType。 - 您可以將疏鬆向量、張量和內嵌儲存為
MapType。 - 您可以將文字儲存為
StringType。
發佈至線上存放區時,ArrayType 和 MapType 特徵會以 JSON 格式儲存。
特性存儲庫的介面顯示有關功能數據類型的元數據。
其他相關資訊
如需最佳做法的詳細資訊,請下載特徵商店的完整指南。