Versionsmeddelanden för Databricks-funktionslager och äldre arbetsytefunktioner

På den här sidan visas versioner av Databricks Feature Engineering i Unity Catalog-klienten och Databricks Workspace Feature Store-klienten. Båda klienterna är tillgängliga på PyPI: databricks-feature-engineering och databricks-feature-store.

Biblioteken används för att:

  • Skapa, läsa och skriva funktionstabeller.
  • Träna modeller på funktionsdata.
  • Publicera funktionstabeller i onlinebutiker för realtidsservering.

Information om användningsdokumentation finns i Databricks Feature Store. Mer Python API-dokumentation finns i Api:et för funktionsutveckling Python.

Funktionsutvecklingen i Unity Catalog-klienten gäller för funktioner och funktionstabeller i Unity Catalog. Klienten för Workspace Feature Store fungerar med funktioner och funktionstabeller i Workspace Feature Store. Båda klienterna är förinstallerade i Databricks Runtime för strojové učenie. De kan också köras på Databricks Runtime efter installation databricks-feature-engineering från PyPI (pip install databricks-feature-engineering). Endast för enhetstestning kan båda klienterna användas lokalt eller i CI/CD-miljöer.

En tabell som visar klientversionskompatibilitet med Databricks Runtime- och Databricks Runtime ML-versioner finns i kompatibilitetsmatris för funktionstekniker. Äldre versioner av Databricks Workspace Feature Store-klienten är tillgängliga i PyPI som databricks-feature-store.

databricks-feature-engineering 0.16.1

  • create_training_set och score_batch återanvänder nu offline-materialiserade aggregeringsfunktioner när sådana finns tillgängliga, vilket påskyndar skapandet av träningsdatauppsättningar och batchinferenser. Se Materialisera funktionsvyer.
  • RequestSource funktioner inte längre kräver entitets- och tidseriekolumner.
  • Felaktiga resultat i First och Last har åtgärdats i create_training_set. Dessa sammansättningar innehåller nu nullvärden som standard. lägg till en filter_condition för att exkludera null-indatakolumner.
  • Åtgärdade ett problem där compute_features returnerade nollor eller nullvärden när källrader innehåller nullvärden.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.16.0

  • Offentlig förhandsversion av funktionsvyer:
    • Funktionsvyer finns nu i offentlig förhandsversion. Verktygen is_beta_feature_view() och list_beta_feature_views() i FeatureEngineeringClient identifierar funktioner som har registrerats under Beta API och behöver migreras till formatet för Public Preview.
    • Feature.clone() metoden hjälper till med att migrera betafunktionsvyer till offentlig förhandsversion.
    • create_pipeline är inaktuell för funktionsvyer. använd api:et för materialiserade funktioner i stället.
  • Funktioner för direktuppspelning:
    • StreamSource stöds nu i create_feature() för att definiera strömningsfunktioner som backas upp av Kafka- eller Delta-källor.
    • create_training_set stöder nu träning av funktioner som definierats med en StreamSource.
    • Nya metoderna create_stream, get_stream, update_stream, delete_stream och list_streams i FeatureEngineeringClient för att hantera funktionskällor för direktuppspelning.
    • StreamingMode utlösare för materialize_features väljer mikrobatchmaterialisering.
  • Andra förbättringar:
    • Det nya list_features() API:et på FeatureEngineeringClient listar funktioner i en katalog eller ett schema.
    • Nytt grant_feature_serving_access() verktyg ger de behörigheter som krävs för online-servering av materialiserade funktioner, med ett dry_run läge för förhandsversion av åtkomst innan du tillämpar.
    • DeltaTableSource.from_sql() accepterar nu en SparkSession direkt.
    • DeltaTableSource.dataframe_schema ersätter den inaktuella schema_json parametern.
    • RollingWindow ersätter det borttagna ContinuousWindow aliaset.
    • Tog bort den utgångna parametern offset från RollingWindow; använd delay i stället.
    • Stöd för tvådelade Unity Catalog-namn med en angiven standardkatalog har tagits bort.
    • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.15.0

  • RequestSource (Beta):
    • Den nya RequestSource klassen aktiverar funktioner som beräknas vid begäran från data som skickas direkt till modellen, utan att det krävs en funktionstabellsökning.
    • create_feature(), create_training_set(), score_batch() och compute_features() har alla stöd för funktioner som stöds av RequestSource.
    • log_model kopplar automatiskt in RequestSource funktioner i modellsignaturen.
  • ColumnSelection (Beta):
    • Med den nya ColumnSelection klassen kan du välja specifika utdatakolumner från en funktionskälla, vilket möjliggör mer detaljerade funktionsdefinitioner.
    • Stöds i create_feature(), create_training_set(), compute_features()och log_model.
  • Andra förbättringar:
    • Ny TableTrigger utlösartyp för materialize_features utlöser materialisering vid uppdateringar av Delta-tabeller.
    • score_batch körs nu på Databricks Runtime Serverless runtimes.
    • DeltaTableSource.from_sql() avvisar nu SQL-satser som inte stöds, till exempel GROUP BY och ORDER BY.
    • RequestSource.from_dataframe() härleder begärandeschemat från en befintlig DataFrame.
    • Flask-beroende har tagits bort från databricks-feature-engineering.
    • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.14.0

  • Batch Deklarativa funktioner (beta):
    • API för deklarativa funktioner för att lagra deklarativa funktionsdefinitioner som Unity Catalog-funktioner med aggregeringar och tidsfönster.
    • API för materialiserade funktioner schemalägger automatisk batchmaterialisering av funktioner till onlinebutiker med hjälp av konfigurerbara cron-scheman.
    • Materialiserade funktioner kan användas i online-servering för registrerade modeller i Unity Catalog.
    • Stöd för skjut- och fallande fönster med hjälp av SlidingWindow och TumblingWindow klasser för korrekt funktionsberäkning vid en angiven tidpunkt i create_training_set().
    • filter_condition parametern tillåter filtrering av källdata vid beräkning av funktioner.
  • Andra förbättringar:
    • Nytt list_online_stores() API visar alla onlinebutiker i en katalog eller ett schema.
    • Stöd för usage_policy_id faktureringsspårning när du skapar eller uppdaterar onlinebutiker.
    • Förbättrade felmeddelanden när onlinebutiker tas bort eller inte är tillgängliga.
    • Felkorrigeringar och prestandaförbättringar.

databricks-feature-engineering 0.13.0

  • API:er för hantering av Databricks-hanterade online-funktionsbutiker.
  • publish_table() accepterar nu parametrarna source_table_name, online_table_nameoch publish_mode för tydligare tabellspecifikation.
  • Stöd för read_replica_count när du skapar eller uppdaterar onlinebutiker för förbättrad lässkalbarhet.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.12.1

  • Stöd för standardvärden för funktionssökningar.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.11.0

  • Lägg till stöd för mlflow version 3.0.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.10.2

  • Lägg till stöd för mlflow version 2.20.0 och senare.
  • Lägg till stöd för numpy version 2.x.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.9.0

  • Stöd för användning av prebuilt_env i score_batch anrop.
  • Prestandaförbättringar för att sammanfoga funktioner vid en specifik tidpunkt med Photon.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.8.0

  • Stöd för användning av params i score_batch anrop, vilket gör att ytterligare parametrar kan skickas till modellen för slutsatsdragning.
  • Felkorrigeringar och förbättringar.

databricks-feature-engineering 0.7.0

  • Vissa vyer i Unity Catalog kan nu användas som funktionstabeller för offlinemodellträning och utvärdering. Se Läsa från en funktionstabell i Unity Catalog.
  • Träningsuppsättningar kan nu skapas med funktionssökningar eller en funktionsspecifikation. Se Python SDK-referensen.

databricks-feature-engineering 0.6.0

  • Det finns nu stöd för att köra punkt-i-tid-kopplingar med inbyggd Spark, förutom befintligt stöd med Tempo. Stort tack till Semyon Sinchenko för att föreslå idén!
  • StructType stöds nu som en PySpark-datatyp. StructType stöds inte för onlineservering.
  • write_table har nu stöd för att skriva till tabeller som har flytande klustring aktiverat.
  • Parametern timeseries_columns för create_table har bytt namn till timeseries_column. Befintliga arbetsflöden kan fortsätta att använda parametern timeseries_columns .
  • score_batch stöder nu parametern env_manager . Mer information finns i MLflow-dokumentationen .

databricks-feature-engineering 0.5.0

  • Ny API-update_feature_spec i databricks-feature-engineering som gör det möjligt för användare att uppdatera ägaren till en FeatureSpec i Unity Catalog.

databricks-feature-engineering 0.4.0

  • Små felkorrigeringar och förbättringar.

databricks-feature-engineering 0.3.0

databricks-feature-store 0.17.0

  • databricks-feature-store är inaktuell. Alla befintliga moduler i det här paketet är tillgängliga i databricks-feature-engineering version 0.2.0 och senare. Mer information finns i Python API.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering innehåller nu alla moduler från databricks-feature-store. Mer information finns i Python API.

databricks-feature-store 0.16.3

  • Åtgärdar tidsgränsfel vid användning av AutoML med funktionstabeller.

databricks-feature-engineering 0.1.3

  • Små förbättringar i UpgradeClient.

databricks-feature-store 0.16.2

databricks-feature-store 0.16.1

  • Små felkorrigeringar och förbättringar.

databricks-feature-engineering 0.1.2 och databricks-feature-store 0.16.0

  • Små felkorrigeringar och förbättringar.
    • Åtgärdade felaktiga jobblänk-URL:er som loggats med vissa konfigurationer av arbetsytor.

databricks-feature-engineering, version 0.1.1

  • Små felkorrigeringar och förbättringar.

databricks-feature-engineering 0.1.0

  • GA-version av Funktionsteknik i Unity Catalog Python-klienten till PyPI

databricks-feature-store 0.15.1

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.15.0

  • Nu kan du automatiskt härleda och logga ett indataexempel när du loggar en modell. Det gör du genom att ange infer_model_example till True när du anropar log_model. Exemplet baseras på träningsdata som anges i parametern training_set .

databricks-feature-store 0.14.2

  • Åtgärda fel vid publicering till Aurora MySQL från MariaDB Connector/J >=2.7.5.

databricks-feature-store 0.14.1

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.14.0

Från och med 0.14.0 måste du ange tidsstämpelnyckelkolumner i argumentet primary_keys. Tidsstämpelnycklar är en del av de "primära nycklar" som unikt identifierar varje rad i funktionstabellen. Precis som andra primärnyckelkolumner kan tidsstämpelnyckelkolumner inte innehålla NULL-värden.

I följande exempel innehåller DataFrame-user_features_df följande kolumner: user_id, ts, purchases_30doch is_free_trial_active.

0.14.0 och senare

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 och lägre

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.13.0

  • Den lägsta version som krävs mlflow-skinny är nu 2.4.0.
  • Det går inte att skapa en träningsuppsättning om den angivna DataFrame inte innehåller alla nödvändiga uppslagsnycklar.
  • När du loggar en modell som använder funktionstabeller i Unity Catalog loggas en MLflow-signatur automatiskt med modellen.

databricks-feature-store 0.12.0

  • Nu kan du ta bort en onlinebutik med hjälp av API:et drop_online_table .

databricks-feature-store 0.11.0

  • I Unity Catalog-aktiverade arbetsytor kan du nu publicera funktionstabeller för både arbetsyta och Unity Catalog till Cosmos DB-onlinebutiker. Detta kräver Databricks Runtime 13.0 ML eller senare.

databricks-feature-store 0.10.0

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.9.0

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.8.0

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.7.1

  • Lägg till flask som ett beroende för att åtgärda problem med saknade beroenden vid bedömning av modeller med score_batch.

databricks-feature-store 0.7.0

  • Små felkorrigeringar och förbättringar.

databricks-feature-store 0.6.1

  • Första offentliga versionen av Databricks Feature Store-klienten till PyPI.
  • Last updated on