Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Databricks Feature Store är ett centralt register för de funktioner som används i dina AI- och ML-modeller. När du registrerar funktioner och modeller i Unity Catalog får du inbyggd styrning, datalinjering, punkt-i-tid-joins samt funktionsdelning och upptäckt över arbetsytor.
Du kan skapa funktioner på två sätt.
Båda producerar featureuppsättningar som styrs av Unity-katalogen och publiceras till Online Feature Store. Se Välj en strategi för innehållsskapande.
- Feature Views, som definierar features deklarativt och låter Databricks beräkna och hantera feature-pipelines åt dig. Den här funktionen finns i offentlig förhandsversion.
- Feature-tabeller, som du själv fyller genom att skriva feature-värden till en Delta-tabell.
Med Databricks sker hela modellträningsarbetsflödet på en enda plattform, inklusive:
- Datapipelines som matar in rådata, skapar funktionstabeller, tränar modeller och utför batchinferens.
- Modell- och funktionstjänstslutpunkter som är tillgängliga med ett enda klick och som erbjuder millisekunders svarstid.
- Data- och modellövervakning.
När du använder funktioner från Databricks Feature Store för att träna modeller spårar modellen automatiskt ursprung till de funktioner som användes i träningen. Vid inferensen söker modellen automatiskt upp de senaste funktionsvärdena. Databricks Feature Store tillhandahåller även beräkning på begäran av funktioner för realtidsprogram som hanterar alla uppgifter för funktionsberäkning. Detta eliminerar träning/serveringssnedvridning, vilket säkerställer att funktionsberäkningarna som används vid slutsatsdragning är desamma som de som används under modellträningen. Det förenklar också koden på klientsidan avsevärt, eftersom alla funktionssökningar och beräkningar hanteras av Databricks Feature Store.
Anmärkning
Den här sidan beskriver Databricks Feature Store för arbetsytor som är aktiverade för Unity Catalog. Om din arbetsyta inte är aktiverad för Unity Catalog, se Funktionslager för arbetsytor (inaktuell).
Begreppsmässig översikt
En översikt över hur Databricks Feature Store fungerar och en ordlista med termer finns i Översikt och ordlista för Databricks Feature Store.
Välj en strategi för innehållsskapande
Feature Store stöder två sätt att utforma features. Båda skapar funktioner som styrs av Unity Catalog och båda kan publicera till Online Feature Store. Generellt rekommenderas Feature Views för de flesta nya fall, även om feature tables är bäst anpassade för flexibla batcharbetsbelastningar i flera steg.
| Strategi | Passar bäst för | Så här fungerar det |
|---|---|---|
| Funktionsvisningar (rekommenderad) | De flesta av nya projekt, aggregeringar för tidsfönster och streamingfunktioner. | Definiera funktioner deklarativt som Unity Catalog-objekt Feature . Databricks skapar och hanterar feature pipelines. Du kan experimentera med lokalt definierade feature i en anteckningsbok innan du registrerar dem och materialisera feature-pipelines. Stream Feature Views stödjer sub-sekunders färsk featuredata med direkta skrivningar från realtidsläge till Online Feature Store. |
| Funktionstabeller | Funktioner du beräknar med hjälp av Lakeflow- eller Spark-deklarativa pipelines, och arbetsbelastningar som kräver Delta Sharing, en tredjeparts onlinebutik eller en redigeringsväg endast för allmänt tillgänglig (GA). | Skriv funktionsvärden till en Delta-tabell i Unity Catalog som har en primärnyckel. Du ansvarar för pipelinen som fyller på och uppdaterar tabellen. |
Utveckla funktioner
| Feature | Description |
|---|---|
| Funktionsvyer | Definiera och beräkna funktioner deklarativt med hjälp av Feature Views, inklusive tidsfönstersbundna aggregeringar och strömningsfunktioner. |
| Materialisera Feature Views | Materialisera Feature Views för offlineträning eller onlinebetjäning. |
| Rensa attributvärden för entiteter | Ta bort materialiserade feature-värden för utvalda entiteter från offline- och onlinelagringsplatser. |
| Funktionstabeller i Unity Catalog | Skapa och arbeta med funktionstabeller. |
Identifiera och dela funktioner
| Feature | Description |
|---|---|
| Utforska funktionstabeller i Unity Catalog | Utforska och hantera funktionstabeller med hjälp av Catalog Explorer och funktionsgränssnittet. |
| Använda taggar med funktionstabeller och funktioner i Unity Catalog | Använd enkla nyckel/värde-par för att kategorisera och hantera dina funktionstabeller och funktioner. |
| Utforska funktionsvyer i Unity-katalogen | Bläddra bland funktionsvydefinitioner och materialiseringsstatus i Databricks-användargränssnittet. |
Använda funktioner i träningsarbetsflöden
| Feature | Description |
|---|---|
| Träna modeller med egenskapstabeller | Använd funktioner för att träna modeller. |
| Funktionsegenskaps-anslutningar vid tidpunkt | Använd ögonblicksnoggrannhet för att skapa ett träningsdataset som avspeglar funktionsvärdena vid tidpunkten då en etikettobservation registrerades. |
| Python-API för funktionsframtagning | Python API-referens |
Tillhandahålla funktioner
| Feature | Description |
|---|---|
| Databricks Online Feature Store | Hantera funktionsdata till onlineprogram och maskininlärningsmodeller i realtid. Drivs av Databricks Lakebase. |
| Modellservering med automatisk funktionssökning | Leta automatiskt upp funktionsvärden från en onlinebutik. |
| Tabeller för serveringsfunktionen | Leverera egenskaper till modeller och applikationer utanför Databricks. |
| Funktionsberäkning på begäran | Beräkna funktionsvärden vid tidpunkten för slutsatsdragningen. |
Funktionsstyrning och härkomst
| Feature | Description |
|---|---|
| Funktionsstyrning och ursprung | Använd Unity Catalog för att styra åtkomsten till funktionstabeller och visa ursprunget för en funktionstabell, modell eller funktion. |
Handledningar
| Tutorial | Description |
|---|---|
| Exempel på anteckningsböcker för att komma igång |
Grundläggande notebook. Visar hur du skapar en funktionstabell, använder den för att träna en modell och kör batchbedömning med hjälp av automatisk funktionssökning. Visar även användargränssnittet för funktionsutveckling för att söka efter funktioner och visa ursprung. Taxi exempeldokument. Visar processen att skapa funktioner, uppdatera dem och använda dem för modellträning och batchinferens. |
| Exempel: Distribuera och fråga en funktion som betjänar slutpunkten | Självstudier och exempel på notebook-filer som visar hur du distribuerar och frågar en funktion som betjänar slutpunkten. |
| Exempel: använda funktioner med strukturerade RAG-program | Självstudie som visar hur du använder onlinetabeller och slutpunkter för funktionstjänster i Databricks för applikationer med hämtning förstärkt generering (RAG). |
Krav
Om du vill använda Databricks Feature Store måste arbetsytan vara aktiverad för Unity Catalog. Om din arbetsyta inte är aktiverad för Unity Catalog, se Funktionslager för arbetsytor (inaktuell).
Datatyper som stöds
Databricks Feature Store och äldre Funktionslager för arbetsytor stöder följande PySpark-datatyper:
IntegerTypeFloatTypeBooleanTypeStringTypeDoubleTypeLongTypeTimestampTypeDateTypeShortTypeArrayType-
BinaryType[1] -
DecimalType[1] -
MapType[1] -
StructType[2]
[1] BinaryType, DecimalTypeoch MapType stöds i alla versioner av Funktionsutveckling i Unity Catalog och i Workspace Feature Store v0.3.5 eller senare.
[2] StructType stöds i Feature Engineering v0.6.0 eller senare.
De datatyper som anges ovan stöder funktionstyper som är vanliga i maskininlärningsprogram. Till exempel:
- Du kan lagra kompakta vektorer, tensorer och inbäddningar som
ArrayType. - Du kan lagra glesa vektorer, tensorer och inbäddningar som
MapType. - Du kan lagra text som
StringType.
När funktionerna ArrayType och MapType publiceras i onlinebutiker lagras de i JSON-format.
Användargränssnittet för Feature Store visar metadata för funktionsdatatyper:
Mer information
Mer information om metodtips finns i Den omfattande guiden till funktionsbutiker.