Databricks 特徵庫集中管理機器學習中使用的功能,使得相同的特徵計算在模型訓練與推論時也能執行。 你可以將特徵建立為特徵檢視(Feature Views),由 Databricks 計算及管理,或建立由你自行填入資料的特徵資料表。 以下章節涵蓋典型工作流程並定義關鍵術語。
Databricks 功能庫提供什麼?
Feature Store 提供兩種撰寫特徵的方式。 兩者都會產生由 Unity 目錄管理的特徵,可用於批次推論,或發佈至 Online Feature Store 以提供低延遲服務:
- Feature Views 以宣告式方式定義功能,而 Databricks 會為您計算並管理功能管線。 Databricks 建議針對新使用情境使用 Feature Views。
- 特徵表 是你自己寫入特徵值來填充的 Delta 表。
關於如何在兩者間做選擇,請參見 選擇一種創作策略。
Databricks 的功能商店是如何運作的?
在 Databricks 上使用功能工程的一般機器學習工作流程會遵循下列路徑:
- 在筆記本中建立原型特徵視圖,使用 Feature Engineering SDK 來產生歷史資料與訓練集。 並行迭代你的特徵定義、資料和模型,直到你滿意為止。
- 投入生產環境:
- 將你的特徵註冊到 Unity Catalog,讓它們成為可治理且可重複使用的資產。
- 在 MLflow 中訓練並記錄你的模型,追蹤訓練中使用特徵的資料譜系。
- 將您的特徵具體化到線上或線下儲存區。
- 推論:
- 批次時,使用
score_batch。 - 線上服務時,可以為模型或特徵設置線上服務端點。
- 批次時,使用
功能商店詞彙表
功能存放區
功能存放區是集中式存放庫,可讓數據科學家尋找及共用功能。 使用特徵庫也有助於確保計算特徵值的程式碼在模型訓練時與推論時相同。 你可以以特徵檢視(Feature Views)的形式建立特徵,Databricks 會幫你計算和管理,或以特徵資料表的形式建立特徵。 在啟用 Unity Catalog 的工作區中,任何包含主鍵約束的 Unity Catalog Delta 資料表都可以用作特徵資料表。
機器學習會使用現有的數據來建置模型,以預測未來的結果。 在幾乎所有情況下,原始數據都需要前置處理和轉換,才能用來建置模型。 這個過程稱為特徵工程,而這個過程的輸出稱為特徵,是模型的建構單元。 使用 Feature Views 時,你可以用簡單的 Python 定義做特徵工程,Databricks 會幫你管理管線。
開發功能很複雜且耗時。 另一個併發症是,對於機器學習,需要針對模型定型完成特徵計算,然後在模型用來進行預測時再次進行。 這些實作可能不是由同一個小組或使用相同的程式代碼環境來完成,這可能會導致延遲和錯誤。 此外,組織中的不同小組通常會有類似的功能需求,但可能不知道其他小組已完成的工作。 功能存放區的設計目的是要解決這些問題。
特色視圖
特徵檢視是一種抽象的概念,用來定義什麼是特徵。 你定義了一個特徵視圖,Databricks 會將其計算出來。 在訓練時,特徵工程 SDK 會產生特定時間點上正確的歷史特徵資料與訓練集。 為了推論,將該特徵實體化到適當的線上或離線存放區,Databricks 會協調計算,確保特徵資料已準備好可供服務。
Feature Views 支援批次與串流功能,新鮮度從亞秒到排程 cron 不等。
功能數據表
特徵表是帶有主鍵的 Delta 表。 你可以用 publish_table將功能表格同步到線上商店。 特徵表的元數據負責追蹤用於生成數據表的數據來源,以及創建或寫入數據表的筆記本和作業。
使用 Databricks Runtime 13.3 LTS 和更新版本時,如果您的工作區已啟用 Unity 目錄,您可以使用 Unity 目錄中的任何 Delta 數據表搭配主鍵做為功能數據表。 請參閱 Unity 目錄中的功能表。
功能數據表中的功能通常會使用一般計算函式來計算和更新。
您可以將功能數據表發佈至 在線商店 以進行即時模型推斷。
FeatureLookup
許多不同的模型可能會使用特定功能數據表的功能,並非所有模型都需要每項功能。 若要使用特徵來定型模型,您可以為每個功能數據表建立 FeatureLookup。
FeatureLookup 會指定要從數據表使用哪些功能,並定義用來將功能數據表聯結至傳遞至 create_training_set標籤數據的索引鍵。
此圖表說明了 FeatureLookup 的運作方式。 在這裡範例中,您想要使用兩個功能資料表的功能來定型模型,customer_features 和 product_features。 您可以為每個特徵表建立 FeatureLookup,並指定表格名稱、要從表中選取的特徵(列),以及在聯結特徵以創建訓練數據集時要使用的查找鍵。
接著,您呼叫 create_training_set,也會顯示在圖表中。 此 API 呼叫會指定 DataFrame,其中包含原始訓練資料(label_df),要使用的 FeatureLookups,以及包含真實值的 label欄。 訓練數據必須包含與特徵數據表的每個主鍵對應的欄位。 特徵表格中的數據會根據這些鍵聯結至輸入的 DataFrame。 結果顯示在圖表中,作為「訓練數據集」。
FeatureFunction
功能可能取決於只能在推斷時使用的資訊。 您可以指定 FeatureFunction,將即時輸入與特徵值結合,以計算最新的特徵值。 圖表中會顯示一個範例。 如需詳細資訊,請參閱 隨需功能計算。
訓練集
訓練集包含特徵清單,以及包含原始訓練數據、標籤和用來查找特徵的主要鍵的DataFrame。 您可以指定要從功能存放區擷取的功能來建立定型集,並在模型定型期間提供定型集做為輸入。
如需如何建立和使用定型集的範例,請參閱 建立定型數據集。
當您在 Unity 目錄中使用特徵工程來定型和記錄模型時,您可以在目錄總管中檢視模型的譜系。 用來建立模型的數據表和函式會自動追蹤和顯示。 請參閱特徵控管和譜系關係。
FeatureSpec
A FeatureSpec 是 Unity 目錄實體,可定義一組可重複使用的服務特性和函式。
FeatureSpecs 將來自特徵表的FeatureFunction特徵與FeatureLookup函式結合成單一邏輯單元,可用於模型訓練或透過特徵服務端點提供服務。
FeatureSpec由 Unity 目錄儲存與管理,並提供完整的血緣追蹤,可追溯至其組成的離線特徵資料表與函式。 這可實現跨不同模型和應用程式的治理、可發現性和重複使用。
您可以透過下列方式使用 a FeatureSpec :
- 使用 Python API 或 REST API 建立功能服務端點。 請參閱 Serve 功能表格,或直接使用模型服務介面部署。 對於高效能應用程式,請啟用路由最佳化。
- 在套件中宣告它,以及提供該功能的 Feature Serving 端點。 請參閱 「使用宣告式自動化套件提供功能檢視」。
- 透過參考
FeatureSpec中的create_training_set來用於模型訓練。
A FeatureSpec 一律會參考離線功能資料表,但必須將其發佈至線上商店,才能進行即時服務案例。
時間序列特徵表(時間點查詢)
用來訓練模型的資料通常內建時間相依性。 當您建置模型時,必須只考慮特徵值,直到觀察到的目標值為止。 如果您根據目標值時間戳之後測量的數據來定型特徵,模型效能可能會受到影響。
時間序列特徵表 包含一個時間戳記欄位,確保訓練資料集中的每一列都代表該列時間戳記時最新的已知特徵值。 每當特徵值隨著時間變更時,您應該使用時間序列功能數據表,例如時間序列數據、事件型數據或時間匯總數據。
當您建立時間序列特徵資料表時,您可以使用timeseries_columns引數(針對 Unity Catalog 中的特徵工程)或timestamp_keys引數(針對工作區特徵存放庫),將主索引鍵中的時間相關資料行指定為時間序列資料行。 當您使用 create_training_set 或 score_batch 時,這使得能夠進行時間點查閱。 系統執行 as-of 時間戳聯結,使用您指定的 timestamp_lookup_key。
如果您不使用 timeseries_columns 引數或 timestamp_keys 引數,而只將時間序列欄指定為主索引鍵欄,則 Feature Store 不會在聯結期間將時間點邏輯套用至時間序列欄。 相反地,其僅會比對具有確切時間比對的資料列,而不是比對時間戳記之前的所有資料列。
離線存放區
離線功能存放區用於功能探索、模型定型和批次推斷。 它包含具體化為 Delta 資料表的功能數據表。
在線功能存放區
Databricks Online 功能存放區是高效能、可調整的解決方案,可將功能數據服務至在線應用程式和實時機器學習模型。
它由 Databricks Lakebase 驅動,提供低延遲的高規模功能資料存取,同時維持功能資料的治理、沿襲與一致性。
您可以在無伺服器 Lakebase 平台中佈建線上商店。 API 可讓您視需要管理實例和讀取複本和調整實例。 您可以使用方便的 API,將 Unity 目錄資料表發佈至在線商店。 這些資料表也是 Unity Catalog 實體,可以原生追蹤至源資料表的譜系。
Databricks 也支援 第三方線上商店。
串流
除了批次寫入之外,Databricks 功能存放區還支援串流。 您可以從串流來源將特徵值寫入功能數據表,而功能計算程式代碼可以利用 結構化串流,將原始數據流轉換成特徵。
您也可以將功能數據表從離線存放區串流至線上商店。
模型封裝
當您在 Unity 目錄或工作區功能存放區中使用特徵工程來定型機器學習模型,並使用用戶端的 log_model() 方法來記錄模型時,模型會保留這些功能的參考。 在推斷時,模型可以選擇性地自動擷取特徵值。 呼叫端只需要提供模型中使用的功能主鍵(例如,user_id),而模型會擷取所有必要的特徵值。
在批次推斷中,特徵值會從離線存放區擷取,並在評分之前與新數據聯結。 即時推斷會從在線商店擷取特徵值。
若要封裝具有功能元數據的模型,請使用 FeatureEngineeringClient.log_model (適用於 Unity 目錄中的功能工程) 或 FeatureStoreClient.log_model (適用於工作區功能存放區)。