Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Op deze pagina vindt u releases van de Databricks Feature Engineering in de Unity Catalog-client en de Databricks Workspace Feature Store-client. Beide clients zijn beschikbaar in PyPI: databricks-feature-engineering en databricks-feature-store.
De bibliotheken worden gebruikt voor het volgende:
- Functietabellen maken, lezen en schrijven.
- Modellen trainen op functiegegevens.
- Functietabellen publiceren naar online platforms voor realtime levering.
Zie Databricks Feature Store voor gebruiksdocumentatie. Zie Feature Engineering Python API voor documentatie over de Python-API.
De functie-engineering in de Unity Catalog-client werkt voor functies en functietabellen in Unity Catalog. De Workspace Feature Store-client werkt voor features en featuretabellen in de Workspace Feature Store. Beide clients zijn vooraf geïnstalleerd in Databricks Runtime voor Machine Learning. Ze kunnen ook worden uitgevoerd op Databricks Runtime na installatie databricks-feature-engineering vanuit PyPI (pip install databricks-feature-engineering). Alleen voor het testen van eenheden kunnen beide clients lokaal of in CI/CD-omgevingen worden gebruikt.
Zie voor een tabel met compatibiliteit van clientversies met Databricks Runtime- en Databricks Runtime ML-versies
databricks-feature-engineering 0.18.1
Deze release bevat de volgende verbeteringen aan Feature Views:
- Online serveren met Lakebase ondersteunt nu featurenamen langer dan 64 tekens.
- RollingWindow accepteert nu window_duration=None voor de levensduur van de laatste aggregatie op Delta-bronnen met online-only tabel-triggergebaseerde materialisatie.
- FeatureViewSource-gebaseerde functies kunnen nu worden voorbekeken met ,
compute_features()inclusief afhankelijkheden die meerdere brontabellen beslaan. - SawtoothWindow ondersteunt nu levenslange aggregatievensters (window_duration=Geen) in create_training_set() en compute_features().
- Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.18.0
-
FeatureViewSource:
- Nieuw
FeatureViewSourcedefinieert een functie die is samengesteld uit andere functies, waarbijCustomUDFrijgewijs wordt toegepast op hun waarden. Ondersteund gedurende de volledige trainings- en servinglevenscyclus, behalve voorcompute_features().
- Nieuw
-
Functies van CustomUDF:
-
create_feature()valideertCustomUDFinput_bindingsaan de hand van de Unity Catalog-functiehandtekening en controleert of de typen van gebonden kolommen overeenkomen met de parametertypen van de functie, waarbij afwijkingen worden gerapporteerd wanneer de feature wordt aangemaakt in plaats van tijdens het trainen of serveren.
-
-
Streamingfuncties:
-
create_stream()voegtrecord_type_filter, een SQL-predicaat toe dat na decoderen alleen overeenkomende records bewaart, enexcluded_columns, waardoor kolommen niet meer worden ingevoerd.update_stream()accepteert ookexcluded_columns.
-
-
Materialisatie:
-
materialize_features()Accepteerttagsenbudget_policy_idvoor kostenregistratie en attributie. -
CronScheduleondersteunt een afgeleide planningsmodus die voortkomt uit de aggregatievensters en timing van een functie, naast een handmatige cron-expressie.
-
-
Raamfunctie start_time gating:
- Functies in venstermodus dwingen nu altijd
start_timeaf. trainingsrijen waarvan het venstereinde vóór destart_timevan een feature valt, worden uitgesloten zodat offline-trainingssets overeenkomen met de waarden die online worden aangeboden. Stel eenstart_timevensterfunctie in om de cutoff te bedienen.
- Functies in venstermodus dwingen nu altijd
-
Andere wijzigingen:
- Aggregatiefuncties wijzen tijdreekskolommen bij aanmaak af
DATE. Gebruik in plaats daarvan eenTIMESTAMPkolom. -
ColumnSelection-functies passen de bronstabilisatiewachttijd toe increate_training_set()encompute_features(), waarbij bronrijen die nog niet zijn gestabiliseerd worden uitgesloten. - Ondersteuning toegevoegd voor stringtypen in Databricks Runtime 18 in de in- en uitvoer van feature-UDF's.
- Velden voor featuretiming, zoals
start_time, aggregatievertraging en stabilisatievertraging van de bron, blijven nu behouden bij lees- en schrijfbewerkingen van clients. - Opgeloste fouten en verbeteringen.
- Aggregatiefuncties wijzen tijdreekskolommen bij aanmaak af
databricks-feature-engineering 0.17.1
- Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.17.0
-
SawtoothWindow-aggregaties (Preview):
- De nieuwe
SawtoothWindowtijdvensterklasse houdt lange aggregatievensters (bijvoorbeeld 30, 60 of 90 dagen) continu vernieuwd: de achterrand van het venster vordert in vaste dagelijkse stappen, terwijl de voorste rand actueel blijft met de nieuwste streaminggebeurtenissen, waardoor een volledige herberekening van elk event wordt vermeden. Ondersteund voorSum,Avg,Count, ,MinenMaxaggregaties.window_durationmoet meer dan twee dagen bedragen; gebruikRollingWindowvoor kortere perioden.
- De nieuwe
-
LastNAggregatie (Preview):- Nieuwe
LastNaggregatie geeft de meest recente N-waarden in een venster terug als een array, geordend op de tijdreekskolom van de feature. Ondersteund metSlidingWindowenRollingWindowtijdsvensters.
- Nieuwe
-
Aggregatievensters over de volledige levensduur:
-
SlidingWindowondersteunt nu levensduurvensters (oneindige vensters) die over de volledige geschiedenis aggregeren. Vensters met een onbeperkte looptijd zijn alleen beschikbaar voor batchfuncties; stelwindow_durationin opNoneom er een te definiëren increate_training_set()encompute_features().
-
-
CustomUDF-functies (Voorbeeld):
- Nieuw
CustomUDFfunctietype voorcreate_feature()past een geregistreerde Unity Catalog-functie rijgewijs toe op bronkolommen.input_bindingsmapt elke UC-functieparameter aan de bronkolom die deze vult.CustomUDFwerkt direct opRequestSource(verzoektijd) functies alleen; het kan niet worden toegepast op andere featuretypes.
- Nieuw
-
Transformaties van streamingbronnen (Preview):
-
StreamSourceaccepteert nu eentransformation_sqlSQL-expressieSELECT, toegepast na de schemaconversie van de stream, om records te transformeren vóór feature-berekening. Wanneer ingesteld, geef je het getransformeerde uitvoerschema viadataframe_schema.
-
-
Schema-register voor streamingbronnen (Preview):
-
create_stream()kan nu schema’s voor streaming-sleutels en payloads ophalen uit een extern schemaregister (bijvoorbeeld Confluent) via een Unity Catalog-verbinding, met gebruik vanSchemaRegistryConfigin plaats van schema’s inline op te geven. Avro- en Protobuf-formaten worden ondersteund.
-
-
Aangepaste serving-afhankelijkheden (Preview):
- Je kunt nu extra pip-afhankelijkheden declareren voor feature serving.
create_feature_spec()enlog_model()accepterenextra_pip_requirements, een lijst met pip-pakketten (of Unity Catalog Volume-paden.whl) die in de modelservingomgeving moeten worden geïnstalleerd voor bibliotheken die je feature-UDF's nodig hebben, maar die standaard niet beschikbaar zijn. Afhankelijkheden die zijn opgegeven op de feature-specificatie worden doorgevoerd wanneer het model wordt bediend.
- Je kunt nu extra pip-afhankelijkheden declareren voor feature serving.
-
Andere verbeteringen:
- Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.16.1
-
create_training_setenscore_batchhergebruiken nu offline gematerialiseerde aggregatie-features indien beschikbaar, waardoor het aanmaken van trainingssets en batchinferentie wordt versneld. Zie Functieweergaven materialiseren. -
RequestSourcevoor functies zijn geen entiteits- en tijdreekskolommen meer vereist. - Onjuiste resultaten van
FirstenLastincreate_training_setopgelost. Deze aggregaties bevatten nu standaard null-waarden; voeg eenfilter_conditiontoe om null-invoerkolommen uit te sluiten. - Probleem opgelost waarbij
compute_featuresnullen of nullwaarden retourneerde wanneer bronrijen nullwaarden bevatten. - Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.16.0
-
Openbare preview-versie van functieweergaven:
- Feature Views zijn nu in openbare preview. De hulpprogramma's
is_beta_feature_view()enlist_beta_feature_views()opFeatureEngineeringClientidentificeren functionaliteiten die zijn geregistreerd onder de Beta-API en moeten worden gemigreerd naar de Public Preview-representatie. -
Feature.clone()Deze methode helpt bij de migratie van Beta Feature Views naar Public Preview. -
create_pipelineis verouderd voor Feature Views; gebruik in plaats daarvan de API voor gematerialiseerde features.
- Feature Views zijn nu in openbare preview. De hulpprogramma's
-
Streamingfuncties:
-
StreamSourcewordt nu ondersteund increate_feature()voor het definiëren van streamingfuncties op basis van Kafka- of Delta-bronnen. -
create_training_setondersteunt nu training over functies die zijn gedefinieerd met eenStreamSource. - Nieuwe
create_stream,get_stream,update_stream, endelete_streamlist_streamsmethodenFeatureEngineeringClientvoor het beheren van streamingfunctiebronnen. -
StreamingModetrigger voormaterialize_featuresselecteert micro-batchmaterialisatie.
-
-
Andere verbeteringen:
- Nieuwe
list_features()API opFeatureEngineeringClientsomt functies op in een catalogus of schema. - Het nieuwe
grant_feature_serving_access()-hulpprogramma kent de vereiste machtigingen toe voor het online aanbieden van gematerialiseerde features, met eendry_run-modus om de toegang vooraf te bekijken voordat deze wordt toegepast. -
DeltaTableSource.from_sql()accepteert nu eenSparkSessionrechtstreeks. -
DeltaTableSource.dataframe_schemavervangt de afgeschafteschema_jsonparameter. -
RollingWindowvervangt de verwijderdeContinuousWindowalias. - De afgeschafte
offsetparameter is verwijderd uitRollingWindow; gebruikdelayin plaats daarvan. - Ondersteuning voor 2-delige Unity Catalog-namen met een standaardcatalogus verwijderd.
- Opgeloste fouten en verbeteringen.
- Nieuwe
databricks-feature-engineering 0.15.0
-
RequestSource (bèta):
- De nieuwe
RequestSource-klasse maakt kenmerken mogelijk die tijdens een aanvraag worden berekend uit gegevens die rechtstreeks aan het model worden doorgegeven, zonder dat een opzoeking in een kenmerktabel nodig is. -
create_feature(),create_training_set(),score_batch(), encompute_features()ondersteunen allemaal functies op basis vanRequestSource. -
log_modelverwerktRequestSourcefeatures automatisch in de modelsignatuur.
- De nieuwe
-
ColumnSelection (bèta):
- Met een nieuwe
ColumnSelectionklasse kunt u specifieke uitvoerkolommen van een functiebron selecteren, zodat u gedetailleerdere functiedefinities kunt inschakelen. - Ondersteund in
create_feature(),create_training_set(),compute_features()enlog_model.
- Met een nieuwe
-
Andere verbeteringen:
- Nieuw
TableTriggertype trigger voormaterialize_featuresactiveert materialisatie bij updates van Delta-tabellen. -
score_batchwordt nu uitgevoerd op serverloze runtimes van Databricks Runtime. -
DeltaTableSource.from_sql()weigert nu niet-ondersteunde SQL-componenten zoalsGROUP BYenORDER BY. -
RequestSource.from_dataframe()hiermee wordt het aanvraagschema afgeleid van een bestaand DataFrame. - Flask-afhankelijkheid verwijderd uit
databricks-feature-engineering. - Opgeloste fouten en verbeteringen.
- Nieuw
databricks-feature-engineering 0.14.0
-
Batch-declaratieve functies (bèta):
- Declaratieve functies-API voor het opslaan van declaratieve functiedefinities als Unity Catalog-functies met aggregaties en tijdvensters.
- De API voor gematerialiseerde kenmerken plant de automatische batchmaterialisatie van kenmerken naar online winkels, waarbij gebruik wordt gemaakt van configureerbare cron-schema's.
- Gematerialiseerde kenmerken kunnen worden gebruikt in online services voor geregistreerde modellen in Unity Catalog.
- Ondersteuning voor schuif- en tumblingvensters met behulp van
SlidingWindowenTumblingWindowklassen voor de juiste functieberekening in een bepaald tijdstip.create_training_set() -
filter_conditionparameter staat het filteren van brongegevens toe bij het berekenen van functies.
-
Andere verbeteringen:
- Nieuwe
list_online_stores()API bevat alle online winkels in een catalogus of schema. - Ondersteuning voor
usage_policy_idhet bijhouden van facturering bij het maken of bijwerken van online winkels. - Verbeterde foutberichten wanneer online winkels worden verwijderd of niet beschikbaar zijn.
- Opgeloste fouten en prestatieverbeteringen.
- Nieuwe
databricks-feature-engineering 0.13.0
- API's voor het beheren van door Databricks beheerde online feature stores.
-
publish_table()accepteertsource_table_namenu ,online_table_nameenpublish_modeparameters voor duidelijkere tabelspecificatie. - Ondersteuning voor
read_replica_countbij het maken of bijwerken van online winkels, voor verbeterde lees-schaalbaarheid. - Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.12.1
- Ondersteuning voor standaardwaarden voor functiezoekacties.
- Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.11.0
- Voeg ondersteuning toe voor
mlflowversie 3.0. - Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.10.2
- Voeg ondersteuning toe voor
mlflowversie 2.20.0 en hoger. - Ondersteuning toegevoegd voor
numpyversie 2.x. - Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.9.0
- Ondersteuning voor het gebruik van
prebuilt_envinscore_batchaanroepingen. - Point-in-time-functie die prestatieverbeteringen met Photon samenvoegt.
- Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.8.0
- Ondersteuning voor het gebruik van
paramsinscore_batchoproepen, waardoor extra parameters kunnen worden doorgegeven aan het model voor inferentie. - Opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.7.0
- Bepaalde weergaven in Unity Catalog kunnen nu worden gebruikt als functietabellen voor offline modeltraining en -evaluatie. Zie Lezen uit een functietabel in Unity Catalog.
- Training sets kunnen nu worden gemaakt met kenmerkopzoekingen of een functiespecificatie. Zie de naslaginformatie over de Python SDK.
databricks-feature-engineering 0.6.0
- Het uitvoeren van point-in-time-joins met systeemeigen Spark wordt nu ondersteund, naast bestaande ondersteuning met Tempo. Enorm dankzij Semyon Sinchenko voor het voorstellen van het idee!
-
StructTypewordt nu ondersteund als een PySpark-gegevenstype.StructTypewordt niet ondersteund voor online gebruik. -
write_tableondersteunt nu het schrijven naar tabellen waarvoor liquide clustering is ingeschakeld. - De parameter
timeseries_columnsvoorcreate_tableis hernoemd naartimeseries_column. Bestaande werkstromen kunnen detimeseries_columnsparameter blijven gebruiken. -
score_batchondersteunt nu deenv_managerparameter. Zie de MLflow-documentatie voor meer informatie.
databricks-feature-engineering 0.5.0
- Nieuwe API-
update_feature_specindatabricks-feature-engineeringwaarmee gebruikers de eigenaar van een FeatureSpec in Unity Catalog kunnen bijwerken.
databricks-feature-engineering versie 0.4.0
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.3.0
-
log_modelmaakt nu gebruik van het nieuwe PyPI-pakket voor databricks-feature lookup , dat prestatieverbeteringen bevat voor online modelbediening.
databricks-feature-store 0.17.0
-
databricks-feature-storeis verouderd. Alle bestaande modules in dit pakket zijn beschikbaar indatabricks-feature-engineeringversie 0.2.0 en hoger. Zie Python-API voor meer informatie.
databricks-feature-engineering 0.2.0
-
databricks-feature-engineeringbevat nu alle modules vandatabricks-feature-store. Zie Python-API voor meer informatie.
databricks-feature-store 0.16.3
- Er is een time-outfout opgelost bij het gebruik van AutoML met functietabellen.
databricks-feature-engineering 0.1.3
- Kleine verbeteringen in de UpgradeClient.
databricks-feature-store 0.16.2
- U kunt nu Feature- en Function-Serving-eindpunten maken. Zie Functie- en functiebediening voor meer informatie.
databricks-feature-store 0.16.1
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.1.2 & databricks-feature-store 0.16.0
- Kleine opgeloste fouten en verbeteringen.
- Onjuiste URL's voor job-afstamming opgelost die zijn vastgelegd met bepaalde werkruimte-instellingen.
databricks-feature-engineering 0.1.1
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-engineering 0.1.0
- GA-release van Feature Engineering in Unity Catalog Python-client voor PyPI
databricks-feature-store 0.15.1
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.15.0
- U kunt nu automatisch een invoervoorbeeld afleiden en vastleggen wanneer u een model aanmeldt. Hiervoor stelt u
infer_model_examplein opTruewanneer ulog_modelbelt. Het voorbeeld is gebaseerd op de trainingsgegevens die zijn opgegeven in detraining_setparameter.
databricks-feature-store 0.14.2
- Er is een fout opgelost bij het publiceren naar Aurora MySQL vanuit MariaDB Connector/J >=2.7.5.
databricks-feature-store 0.14.1
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.14.0
Vanaf 0.14.0 moet u tijdstempelsleutelkolommen opgeven in het argument primary_keys. Tijdstempelsleutels maken deel uit van de 'primaire sleutels' die elke rij in de functietabel uniek identificeren. Net als andere primaire-sleutelkolommen kunnen tijdstempelsleutelkolommen geen NULL-waarden bevatten.
In het volgende voorbeeld bevat het DataFrame-user_features_df de volgende kolommen: user_id, ts, purchases_30den is_free_trial_active.
0.14.0 en hoger
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)
0.13.1 en lager dan
fs = FeatureStoreClient()
fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)
databricks-feature-store 0.13.1
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.13.0
- De minimaal vereiste
mlflow-skinnyversie is nu 2.4.0. - Het maken van een trainingsset mislukt als het opgegeven DataFrame niet alle vereiste opzoeksleutels bevat.
- Wanneer u een model aanmeldt dat gebruikmaakt van functietabellen in Unity Catalog, wordt automatisch een MLflow-handtekening geregistreerd bij het model.
databricks-feature-store 0.12.0
- U kunt nu een onlinewinkel verwijderen met behulp van de
drop_online_tableAPI.
databricks-feature-store 0.11.0
- In werkruimten met Unity Catalog kunt u nu zowel werkruimte- als Unity Catalog-functietabellen publiceren naar online winkels van Cosmos DB. Hiervoor is Databricks Runtime 13.0 ML of hoger vereist.
databricks-feature-store 0.10.0
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.9.0
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.8.0
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.7.1
- Als een afhankelijkheid toevoegen
flaskom een probleem met ontbrekende afhankelijkheid op te lossen bij het scoren van modellen metscore_batch.
databricks-feature-store 0.7.0
- Kleine opgeloste fouten en verbeteringen.
databricks-feature-store 0.6.1
- Initiële openbare release van de Databricks Feature Store-client naar PyPI.