Versionshinweise zum Databricks Feature Store und zum Legacy Workspace Feature Store

Auf dieser Seite sind die Releases des Databricks Feature Engineering Clients im Unity Catalog und des Databricks Workspace Feature Store Clients aufgeführt. Beide Clients sind auf PyPI verfügbar: databricks-feature-engineering und databricks-feature-store.

Die Bibliotheken werden verwendet für:

  • Erstellen, Lesen und Schreiben von Featuretabellen
  • Modelle auf Merkmalsdaten trainieren.
  • Veröffentlichen von Featuretabellen in Onlinespeichern für Echtzeitbereitstellung

Die Verwendungsdokumentation finden Sie im Databricks Feature Store. Informationen zur Python API-Dokumentation finden Sie unter Feature Engineering Python API.

Der Client für Feature Engineering in Unity Catalog arbeitet mit Features und Featuretabellen im Unity Catalog. Der Arbeitsbereichsclient im Feature Store funktioniert für Features und Featuretabellen im Arbeitsbereich-Feature Store. Beide Clients sind in Databricks Runtime für Machine Learning vorinstalliert. Sie können auch auf Databricks Runtime ausgeführt werden, nachdem databricks-feature-engineering von PyPI (pip install databricks-feature-engineering) installiert wurde. Beide Clients können lokal oder in CI/CD-Umgebungen nur für Komponententests verwendet werden.

Eine Tabelle, welche die Kompatibilität von Clientversionen mit Databricks Runtime- und Databricks Runtime ML-Versionen zeigt, finden Sie in der Feature Engineering-Kompatibilitätsmatrix. Ältere Versionen des Databricks-Arbeitsbereichsclient im Feature Store sind auf PyPI als databricks-feature-store verfügbar.

databricks-feature-engineering 0.18.1

Diese Version enthält folgende Verbesserungen für Feature Views:

  • Die Online-Bereitstellung mit Lakebase unterstützt jetzt Feature-Namen, die länger als 64 Zeichen sind.
  • RollingWindow akzeptiert nun window_duration=None für die Lebensdauer der letzten Aggregation auf Delta-Quellen mit reiner Online-Tabellen-Trigger-Materialisierung.
  • Funktionen auf Basis von FeatureViewSource können nun mit compute_features() in der Vorschau angezeigt werden, einschließlich Abhängigkeiten, die mehrere Quelltabellen umfassen.
  • SawtoothWindow unterstützt nun lebenslange Aggregationsfenster (window_duration=Nicht) in create_training_set() und compute_features().
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.18.0

  • FeatureViewSource:
    • Neu FeatureViewSource definiert ein Feature, das aus anderen Features zusammengesetzt ist, und wendet CustomUDF zeilenweise auf deren Werte an. Unterstützt während des gesamten Ausbildungs- und Dienstlebenszyklus, mit Ausnahme von compute_features().
  • CustomUDF-Funktionen:
    • create_feature() validiert CustomUDFinput_bindings anhand der Funktionssignatur in Unity Catalog und gleicht die Typen gebundener Spalten mit den Typen der Funktionsparameter ab, wobei Nichtübereinstimmungen bereits beim Erstellen des Features und nicht erst beim Training oder während der Bereitstellung gemeldet werden.
  • Streaming-Funktionen:
    • create_stream() fügt record_type_filter, ein SQL-Prädikat, das nach der Dekodierung nur passende Datensätze beibehält, und excluded_columns, das Spalten bei der Erfassung ausschließt, hinzu. update_stream() akzeptiert excluded_columnsauch .
  • Materialisierung:
    • materialize_features() Akzeptiert tags sowie budget_policy_id für Kostenverfolgung und Attribution.
    • CronSchedule unterstützt einen abgeleiteten Zeitplanmodus, der sich aus den Aggregationsfenstern und der Zeitplanung eines Features ergibt, zusätzlich zu einem manuell definierten Cron-Ausdruck.
  • Fensterbasierte Gating-Funktion für start_time:
    • Fensterfunktionen erzwingen jetzt immer start_time. Trainingszeilen, deren Fensterende vor dem Feature start_time liegt, werden ausgeschlossen, damit Offline-Trainingssätze den online bereitgestellten Werten entsprechen. Legen Sie für eine fensterbasierte Funktion start_time fest, um den Grenzwert zu steuern.
  • Weitere Änderungen:
    • Aggregationsfeatures unterstützen beim Erstellen keine DATE-Zeitreihenspalten. Benutze stattdessen eine Spalte TIMESTAMP .
    • ColumnSelection Funktionen wenden die Verzögerung der Quellberuhigung in create_training_set() und compute_features() an und schließen dabei Quellzeilen aus, die sich noch nicht beruhigt haben.
    • Unterstützung für Databricks Runtime 18 String-Typen in Feature-UDF-Ein- und Ausgaben hinzugefügt.
    • Feature-Timing-Felder wie start_time, Aggregationsverzögerung und Quellenstabilisierungsverzögerung bleiben nun über Lese- und Schreibvorgänge des Clients hinweg erhalten.
    • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.17.1

  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.17.0

  • SawtoothWindow-Aggregationen (Vorschau):
    • Die neue SawtoothWindow Zeitfensterklasse hält lange Aggregationsfenster (zum Beispiel 30, 60 oder 90 Tage) kontinuierlich frisch: Die hintere Kante des Fensters schreitet in festen täglichen Schritten voran, während die vordere Kante mit den neuesten Streaming-Ereignissen auf dem neuesten Stand bleibt und so eine vollständige Neuberechnung bei jedem Ereignis vermeidet. Unterstützt für Sum, Avg, Count, , Minund Max Aggregationen. window_duration muss größer als zwei Tage sein; verwenden Sie RollingWindow für kürzere Zeitfenster.
  • LastN Zusammenfassung (Vorschau):
    • Die neue LastN Aggregation liefert die aktuellsten N Werte in einem Fenster als Array, geordnet nach der Zeitreihenspalte des Features. Unterstützt mit den Zeitfenstern SlidingWindow und RollingWindow.
  • Lebenszeit-Aggregationsfenster:
    • SlidingWindow unterstützt jetzt unbegrenzte (unendliche) Fenster, die die gesamte Historie aggregieren. Gültigkeitsfenster sind nur für Batch-Features verfügbar; setzen Sie window_duration auf None, um eines in create_training_set() und compute_features() zu definieren.
  • CustomUDF-Funktionen (Vorschau):
    • Neuer CustomUDF Funktionstyp für create_feature(), der eine registrierte Unity-Catalog-Funktion zeilenweise auf Quellspalten anwendet. input_bindings ordnet jeden UC-Funktionsparameter der Quellspalte zu, die ihn mit Werten versorgt. CustomUDF arbeitet direkt nur auf RequestSource (Anfrage-)Funktionen; es kann nicht auf andere Funktionstypen angewendet werden.
  • Streaming-Quelltransformationen (Vorschau):
    • StreamSource akzeptiert nun einen transformation_sql SQL-Ausdruck SELECT, der nach der Schema-Konvertierung des Datenstroms angewendet wird, um Datensätze vor der Feature-Berechnung umzuformen. Wenn gesetzt, liefere das transformierte Ausgabeschema über dataframe_schema.
  • Schema-Registrierung für Streaming-Quellen (Vorschau):
    • create_stream() kann nun Streaming-Schlüssel- und Payload-Schemata aus einer externen Schemaregistry (zum Beispiel Confluent) über eine Unity Catalog-Verbindung auflösen, indem SchemaRegistryConfig verwendet wird, anstatt Schemata inline anzugeben. Avro- und Protobuf-Formate werden unterstützt.
  • Benutzerdefinierte Serving-Abhängigkeiten (Vorschau):
    • Du kannst jetzt zusätzliche Pip-Abhängigkeiten für Feature Serving deklarieren. create_feature_spec() und log_model() akzeptieren extra_pip_requirements, eine Liste von pip-Paketen (oder Unity Catalog Volume .whl-Pfaden), die in der Modellbereitstellungsumgebung installiert werden, um Bibliotheken bereitzustellen, die Ihre Feature-UDFs benötigen, die jedoch standardmäßig nicht verfügbar sind. Abhängigkeiten, die in der Funktionsspezifikation deklariert sind, werden übernommen, wenn das Modell bereitgestellt wird.
  • Weitere Verbesserungen:
    • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.16.1

  • create_training_set und score_batch nutzen jetzt offline materialisierte Aggregations-Features, sofern verfügbar, wodurch die Erstellung von Trainingsdatensätzen und die Batch-Inferenz beschleunigt werden. Siehe Materialisieren von Featureansichten.
  • RequestSource Features erfordern keine Entitäts- und Zeitserienspalten mehr.
  • Falsche Ergebnisse für First und Last in create_training_set behoben. Diese Aggregationen schließen jetzt standardmäßig Nullwerte ein; fügen Sie filter_condition hinzu, um Eingabespalten mit Nullwerten auszuschließen.
  • Es wurde ein Problem behoben, bei dem compute_features Nullen oder Nullwerte zurückgab, wenn Quellzeilen Nullwerte enthalten.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.16.0

  • Feature Views – Öffentliche Vorschau:
    • Feature Views sind jetzt als öffentliche Vorschau verfügbar. Die Hilfsprogramme is_beta_feature_view() und list_beta_feature_views() auf FeatureEngineeringClient identifizieren Features, die im Rahmen der Beta-API registriert wurden und zur Public Preview-Darstellung migriert werden müssen.
    • Feature.clone()-Methode unterstützt die Migration von Beta-Feature-Ansichten zur öffentlichen Vorschauversion.
    • create_pipeline ist für Featureansichten veraltet; verwenden Sie stattdessen die materialisierte Features-API.
  • Streaming-Funktionen:
    • StreamSource wird jetzt in create_feature() zum Definieren von Streaming-Features unterstützt, die auf Kafka- oder Delta-Quellen basieren.
    • create_training_set unterstützt jetzt das Training mit Features, die mit einer StreamSource definiert sind.
    • Neue create_stream, get_stream, update_stream, delete_stream und list_streams Methoden in FeatureEngineeringClient zum Verwalten von Quellen für Streaming-Features.
    • StreamingMode Trigger für materialize_features wählt Mikrobatch-Materialisierung aus.
  • Weitere Verbesserungen:
    • Neue list_features() API in FeatureEngineeringClient listet die Features in einem Katalog oder Schema auf.
    • Das neue grant_feature_serving_access() Dienstprogramm gewährt die Berechtigungen, die für die Onlinebereitstellung materialisierter Merkmale erforderlich sind, und verfügt über einen Modus dry_run, um den Zugriff vor der Anwendung in der Vorschau anzuzeigen.
    • DeltaTableSource.from_sql() nimmt jetzt direkt an SparkSession .
    • DeltaTableSource.dataframe_schema ersetzt den veralteten schema_json Parameter.
    • RollingWindow ersetzt den entfernten ContinuousWindow Alias.
    • Entfernter veralteter offset Parameter aus RollingWindow; verwenden Sie delay stattdessen.
    • Unterstützung für zweiteilige Unity Catalog-Namen mit einem Standardkatalog entfernt.
    • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.15.0

  • RequestSource (Beta):
    • Die neue RequestSource-Klasse ermöglicht Features, die zur Anfragezeit aus Daten berechnet werden, die direkt an das Modell übergeben werden, ohne dass ein Lookup in einer Featuretabelle erforderlich ist.
    • create_feature(), create_training_set(), score_batch() und compute_features() unterstützen alle RequestSource-gestützte Funktionen.
    • log_model bindet RequestSource Features automatisch in die Modellsignatur ein.
  • ColumnSelection (Beta):
    • Neue ColumnSelection Klasse ermöglicht das Auswählen bestimmter Ausgabespalten aus einer Featurequelle, wodurch präzisere Featuredefinitionen ermöglicht werden.
    • Unterstützt in create_feature(), create_training_set(), compute_features(), und log_model.
  • Weitere Verbesserungen:
    • Neuer TableTrigger-Triggertyp für materialize_features-Trigger, der die Materialisierung bei Aktualisierungen von Delta-Tabellen auslöst.
    • score_batch wird jetzt auf Databricks Runtime Serverless-Runtimes ausgeführt.
    • DeltaTableSource.from_sql() weist jetzt nicht unterstützte SQL-Klauseln wie GROUP BY und ORDER BY zurück.
    • RequestSource.from_dataframe() leitet das Anforderungsschema von einem vorhandenen DataFrame ab.
    • Die Flask-Abhängigkeit wurde aus databricks-feature-engineering entfernt.
    • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.14.0

  • Deklarative Batch-Funktionen (Beta):
    • Deklarative Features-API zum Speichern deklarativer Featuredefinitionen als Unity-Katalogfunktionen mit Aggregationen und Zeitfenstern.
    • Die API für materialisierte Features plant die automatische Batch-Verarbeitung von Features in Online-Stores mithilfe konfigurierbarer Cron-Zeitpläne.
    • Materialisierte Features können im Online-Dienst für registrierte Modelle im Unity-Katalog verwendet werden.
    • Unterstützung für gleitende und rollierende Fenster mithilfe der SlidingWindow- und TumblingWindow-Klassen für die korrekte zeitpunktbezogener Feature-Berechnung in create_training_set().
    • filter_condition Parameter ermöglicht das Filtern von Quelldaten beim Berechnen von Features.
  • Weitere Verbesserungen:
    • Neue list_online_stores() API listet in einem Katalog oder Schema alle Online-Shops auf.
    • Unterstützung für usage_policy_id bei der Abrechnungsnachverfolgung beim Erstellen oder Aktualisieren von Online-Shops.
    • Verbesserte Fehlermeldungen, wenn Onlinespeicher gelöscht oder nicht verfügbar sind.
    • Fehlerbehebungen und Leistungsverbesserungen.

databricks-feature-engineering 0.13.0

  • APIs zum Verwalten von Databricks-verwalteten Online-Feature-Stores.
  • publish_table() akzeptiert jetzt die Parameter source_table_name, online_table_name und publish_mode für eine klarere Spezifikation der Tabelle.
  • Unterstützung für read_replica_count beim Erstellen oder Aktualisieren von Online-Stores für verbesserte Lesbarkeit.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.12.1

  • Standardwerte für Feature-Suchen unterstützen.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.11.0

  • Fügen Sie Unterstützung für mlflow Version 3.0 hinzu.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.10.2

  • Fügen Sie Unterstützung für mlflow Version 2.20.0 und höher hinzu.
  • Unterstützung für numpy Version 2.x hinzufügen.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.9.0

  • Unterstützung mithilfe von prebuilt_env bei score_batch-Aufrufen.
  • Zeitpunktfeature, das Leistungsverbesserungen mit Photon verbindet.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.8.0

  • Unterstützung der Nutzung von params in score_batch-Aufrufen, wodurch zusätzliche Parameter für die Modellinferenz übergeben werden können.
  • Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.7.0

  • Bestimmte Ansichten in Unity Catalog können jetzt als Featuretabellen für das Offline-Training und die Offline-Bewertung von Modellen und verwendet werden. Siehe Lesen aus einer Featuretabelle in Unity Catalog.
  • Trainingssätze können jetzt mit Featuresuchen oder einer Featurespezifikation erstellt werden. Weitere Informationen finden Sie in der Python SDK-Referenz.

databricks-feature-engineering 0.6.0

  • Das Ausführen von Point-in-Time-Verknüpfungen mit nativem Spark wird jetzt zusätzlich zum bestehenden Support mit Tempo unterstützt. Vielen Dank an Semyon Sinchenko für diesen Vorschlag!
  • StructType wird jetzt als PySpark-Datentyp unterstützt. StructType wird für die Onlinebereitstellung nicht unterstützt.
  • write_table unterstützt jetzt das Schreiben in Tabellen mit aktiviertem Liquid Clustering.
  • Der timeseries_columns-Parameter für create_table wurde in timeseries_column umbenannt. Vorhandene Workflows können den timeseries_columns-Parameter weiterhin verwenden.
  • score_batch unterstützt jetzt den env_manager-Parameter. Weitere Informationen finden Sie in der MLflow-Dokumentation.

databricks-feature-engineering 0.5.0

  • Neue API update_feature_spec in databricks-feature-engineering, mit der Benutzer den Besitzer eines FeatureSpec im Unity-Katalog aktualisieren können.

databricks-feature-engineering 0.4.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.3.0

  • log_model verwendet jetzt das neue databricks-feature-lookup PyPI-Paket, das Leistungsverbesserungen für die Onlinemodellbereitstellung enthält.

databricks-feature-store 0.17.0

  • databricks-feature-store ist veraltet. Alle vorhandenen Module in diesem Paket sind in databricks-feature-engineering Version 0.2.0 und höher verfügbar. Weitere Informationen finden Sie unter Python-API.

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering enthält jetzt alle Module aus databricks-feature-store. Weitere Informationen finden Sie unter Python-API.

databricks-feature-store 0.16.3

  • Behebt einen Timeoutfehler bei Verwendung von AutoML mit Featuretabellen.

databricks-feature-engineering 0.1.3

  • Kleine Verbesserungen bei UpgradeClient.

databricks-feature-store 0.16.2

  • Sie können jetzt Feature and Function Serving-Endpunkte erstellen. Ausführliche Informationen finden Sie unter Feature & Function Serving.

databricks-feature-store 0.16.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.1.2 & databricks-feature-store 0.16.0

  • Kleine Fehlerbehebungen und Verbesserungen.
    • Falsche Auftragsherkunfts-URLs korrigiert, die bei bestimmten Arbeitsbereichssetups protokolliert wurden.

databricks-feature-engineering 0.1.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-engineering 0.1.0

  • GA-Version von Feature Engineering im Unity Catalog-Python-Client auf PyPI

databricks-feature-store 0.15.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.15.0

  • Sie können jetzt automatisch Rückschlüsse aus einem Eingabebeispiel ziehen und das Beispiel protokollieren, wenn Sie ein Modell protokollieren. Legen Sie dazu infer_model_example auf True fest, wenn Sie log_model aufrufen. Das Beispiel basiert auf den im Parameter training_set angegebenen Trainingsdaten.

databricks-feature-store 0.14.2

  • Behebung eines Fehlers bei der Veröffentlichung in Aurora MySQL von MariaDB-Connector/J >=2.7.5.

databricks-feature-store 0.14.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.14.0

Ab 0.14.0 müssen Sie Zeitstempelschlüsselspalten im Argument primary_keys angeben. Zeitstempelschlüssel sind Teil der „Primärschlüssel“, die jede Zeile in der Featuretabelle eindeutig identifizieren. Wie andere Primärschlüsselspalten dürfen Zeitstempelschlüsselspalten keine NULL-Werte enthalten.

Im folgenden Beispiel enthält der Datenrahmen user_features_df die folgenden Spalten: user_id, ts, purchases_30d und is_free_trial_active.

0.14.0 und höher

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 und früher

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.13.0

  • Version 2.4.0 ist jetzt die mindestens erforderliche mlflow-skinny-Version.
  • Das Erstellen eines Trainingssatzes schlägt fehl, wenn der bereitgestellte DataFrame nicht alle erforderlichen Nachschlageschlüssel enthält.
  • Beim Protokollieren eines Modells, das Featuretabellen in Unity Catalog verwendet, wird automatisch eine MLflow-Signatur mit dem Modell protokolliert.

databricks-feature-store 0.12.0

  • Sie können jetzt einen Online-Shop mithilfe der drop_online_table-API löschen.

databricks-feature-store 0.11.0

  • In Unity Catalog-fähigen Arbeitsbereichen können Sie jetzt sowohl Arbeitsbereichs- als auch Unity Catalog-Feature-Tabellen in Cosmos DB-Online-Stores veröffentlichen. Dies erfordert Databricks Runtime 13.0 ML oder höher.

databricks-feature-store 0.10.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.9.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.8.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.7.1

  • flask als Abhängigkeit hinzugefügt, um das Problem fehlender Abhängigkeiten beim Bewerten von Modellen mit score_batch zu beheben.

databricks-feature-store 0.7.0

  • Kleine Fehlerbehebungen und Verbesserungen.

databricks-feature-store 0.6.1

  • Erste veröffentlichte Version des Databricks Feature Store Clients auf PyPI.
  • Zuletzt aktualisiert um