Notas de atualização da Databricks Feature Store e do Workspace Feature Store legado

Esta página lista as versões do cliente Databricks Feature Engineering no Unity Catalog e do cliente Databricks Workspace Feature Store. Ambos os clientes estão disponíveis no PyPI: databricks-feature-engineering e databricks-feature-store.

As bibliotecas estão habituadas a:

Crie, leia e escreva tabelas de funcionalidades.
Treine modelos em dados de características.
Publique tabelas de funcionalidades em lojas online para disponibilização em tempo real.

Para obter a documentação de uso, consulte Databricks Feature Store. Para documentação de APIs em Python, veja Feature Engineering Python API.

O cliente de Engenharia de Características no Unity Catalog funciona para características e tabelas de características no Unity Catalog. O cliente do Armazém de Funcionalidades do Espaço de Trabalho é usado para funcionalidades e tabelas de funcionalidades no Armazém de Funcionalidades do Espaço de Trabalho. Ambos os clientes são pré-instalados no Databricks Runtime for Machine Learning. Eles também podem ser executados no Databricks Runtime após a instalação databricks-feature-engineering a partir do PyPI (pip install databricks-feature-engineering). Apenas para testes de unidade, ambos os clientes podem ser usados localmente ou em ambientes CI/CD.

Para ver uma tabela que mostra a compatibilidade das versões do cliente com as versões do Databricks Runtime e do Databricks Runtime ML, consulte a matriz de compatibilidade de Feature Engineering . Versões mais antigas do cliente Databricks Workspace Feature Store estão disponíveis no PyPI como databricks-feature-store.

databricks-feature-engineering 0.18.1

Esta versão inclui as seguintes melhorias nas Visualizações de Funcionalidades:

O serviço online com Lakebase agora suporta nomes de funcionalidades com mais de 64 caracteres.
O RollingWindow aceita agora window_duration=None para a agregação Last de duração vitalícia em fontes Delta com materialização apenas online baseada em acionadores de tabela.
As funcionalidades baseadas em FeatureViewSource podem agora ser pré-visualizadas usando compute_features(), incluindo dependências que abrangem múltiplas tabelas de fonte.
O SawtoothWindow agora suporta janelas de agregação vitalícia (window_duration=None) em create_training_set() e compute_features().
Correções de bugs e melhorias.

databricks-feature-engineering 0.18.0

FeatureViewSource:
- Novo FeatureViewSource define uma característica composta por outras características, aplicando um CustomUDF linha a linha aos seus valores. Apoiado ao longo do ciclo de vida de formação e serviço, exceto para compute_features().
Funcionalidades do CustomUDF:
- create_feature() valida CustomUDFinput_bindings em relação à assinatura da função do Unity Catalog e verifica os tipos das colunas associadas face aos tipos dos parâmetros da função, assinalando incompatibilidades quando o atributo é criado, em vez de durante o treino ou a disponibilização.
Funcionalidades de streaming:
- create_stream() adiciona record_type_filter, um predicado SQL que mantém apenas os registos correspondentes depois da descodificação, e excluded_columns, que remove colunas da ingestão. update_stream() também aceita excluded_columns.
Materialização:
- materialize_features() aceita tags e budget_policy_id para acompanhamento e atribuição de custos.
- CronSchedule suporta um modo de agendamento derivado que se materializa a partir das janelas de agregação e temporização de uma funcionalidade, além de uma expressão cron manual.
Controlo por start_time da funcionalidade em janela:
- As funcionalidades em janela agora impõem sempre start_time. As linhas de treino cuja janela termina antes da start_time de uma funcionalidade são excluídas, para que os conjuntos de treino offline correspondam aos valores servidos online. Defina start_time numa funcionalidade com janela para controlar o limite de corte.
Outras alterações:
- As funcionalidades de agregação rejeitam colunas de séries temporais DATE aquando da criação. Usa uma TIMESTAMP coluna em vez disso.
- ColumnSelection As funcionalidades aplicam o atraso de estabilização da origem em create_training_set() e compute_features(), excluindo as linhas de origem às quais ainda não foi aplicado esse atraso.
- Foi adicionado suporte para tipos de cadeias de caracteres do Databricks Runtime 18 nas entradas e saídas das UDFs de funcionalidades.
- Os campos de temporização de funcionalidades, como start_time, o atraso de agregação e o atraso de estabilização da origem, passam agora a persistir entre operações de leitura e escrita do cliente.
- Correções de bugs e melhorias.

databricks-feature-engineering 0.17.1

Correções de bugs e melhorias.

databricks-engenharia-de funcionalidades 0.17.0

Agregações SawtoothWindow (Pré-visualização):
- A nova classe SawtoothWindow de janela temporal mantém janelas de agregação longas (por exemplo, 30, 60 ou 90 dias) permanentemente atualizadas: a extremidade final da janela avança em passos diários fixos, enquanto a extremidade inicial se mantém atualizada com os eventos de fluxo mais recentes, evitando um recálculo completo a cada evento. Suportado para Sum, Avg, Count, Min, e Max agregações. window_duration deve ser superior a dois dias; usar RollingWindow para janelas mais curtas.
LastN Agregação (Pré-visualização):
- A nova agregação LastN devolve os N valores mais recentes numa janela sob a forma de um array, ordenado pela coluna de série temporal do atributo. Compatível com SlidingWindow e RollingWindow intervalos de tempo.
Janelas de agregação ao longo da vida:
- SlidingWindow Agora suporta janelas de vida (infinitas) que se agregam ao longo de todo o histórico. As janelas de duração estão disponíveis apenas para funcionalidades de lote; defina window_duration como None para definir uma em create_training_set() e compute_features().
Funcionalidades do CustomUDF (Pré-visualização):
- O novo CustomUDF tipo de função para create_feature() aplica uma função registada no Unity Catalog linha a linha às colunas de origem. input_bindings mapeia cada parâmetro da função UC para a coluna de origem que o preenche. CustomUDF funciona diretamente apenas sobre características RequestSource (no momento do pedido); não pode ser aplicado a outros tipos de características.
Transformações de fonte em streaming (Pré-visualização):
- StreamSource agora aceita uma transformation_sql expressão SQL SELECT , aplicada após a conversão de esquema do fluxo, para transformar registos antes do cálculo das características. Quando definido, fornece o esquema de saída transformado via dataframe_schema.
Registo de esquemas para fontes de streaming (Pré-visualização):
- create_stream() pode agora resolver esquemas de chave e payload de streaming a partir de um registo de esquemas externo (por exemplo, Confluent) através de uma Unity Catalog Connection, usando SchemaRegistryConfig em vez de fornecer esquemas em linha. São suportados formatos Avro e Protobuf.
Dependências de serviço personalizadas (Pré-visualização):
- Agora pode declarar dependências adicionais do pip para a disponibilização de funcionalidades. create_feature_spec() e log_model() aceitam extra_pip_requirements, uma lista de pacotes pip (ou caminhos .whl de volumes do Unity Catalog) para instalar no ambiente de disponibilização de modelos bibliotecas de que os seus UDFs de funcionalidades necessitam, mas que não estão disponíveis por defeito. As dependências declaradas na especificação de característica são mantidas quando o modelo é servido.
Outras melhorias:
- Correções de bugs e melhorias.

databricks-feature-engineering 0.16.1

create_training_set e score_batch agora reutilizam funcionalidades de agregação materializada offline, quando disponíveis, acelerando a criação de conjuntos de treino e a inferência em lote. Consulte Materialize Feature Views.
RequestSource As características já não requerem colunas de entidade e série temporal.
Corrigidos os resultados incorretos de First e Last em create_training_set. Estas agregações incluem agora nulos por defeito; Adicione A filter_condition para excluir colunas de entrada nulas.
Corrigido compute_features que devolvia zeros ou valores nulos quando as linhas de origem continham valores nulos.
Correções de bugs e melhorias.

databricks-feature-engineering 0.16.0

Visualizações de Destaque Pré-visualização Pública:
- As Feature Views estão agora disponíveis em Pré-visualização Pública. Os utilitários is_beta_feature_view() e list_beta_feature_views() no FeatureEngineeringClient identificam funcionalidades que foram registadas na API beta e têm de ser migradas para a representação de pré-visualização pública.
- Feature.clone() método auxilia na migração das Visualizações de Funcionalidades Beta para a Pré-visualização Pública.
- create_pipeline foi descontinuado para Feature Views; utilize a API de atributos materializados em vez disso.
Funcionalidades de streaming:
- StreamSource passa agora a ser suportado em create_feature() para definir funcionalidades de streaming baseadas em origens Kafka ou Delta.
- create_training_set Agora suporta treino em funcionalidades definidas com um StreamSource.
- Novos métodos create_stream, get_stream, update_stream, delete_stream, e list_streams em FeatureEngineeringClient para gerir origens de funcionalidades de transmissão em fluxo.
- StreamingMode disparador para materialize_features seleciona a materialização em micro-batch.
Outras melhorias:
- Nova list_features() API em FeatureEngineeringClient apresenta funcionalidades num catálogo ou esquema.
- A nova grant_feature_serving_access() utilidade concede as permissões necessárias para a disponibilização online das funcionalidades materializadas, com um dry_run modo para pré-visualizar o acesso antes de se candidatar.
- DeltaTableSource.from_sql() aceita agora um SparkSession diretamente.
- DeltaTableSource.dataframe_schema substitui o parâmetro obsoleto schema_json .
- RollingWindow substitui o pseudónimo removido ContinuousWindow .
- Removido o parâmetro obsoleto offset de RollingWindow; use delay em vez disso.
- Removido o suporte para nomes em duas partes do Unity Catalog com catálogo predefinido.
- Correções de bugs e melhorias.

databricks-feature-engineering 0.15.0

RequestSource (Beta):
- A nova RequestSource classe permite funcionalidades calculadas no momento do pedido a partir de dados passados diretamente para o modelo, sem necessidade de consulta na tabela de características.
- create_feature(), create_training_set(), score_batch() e compute_features() suportam todas funcionalidades baseadas em RequestSource.
- log_model integra automaticamente RequestSource funcionalidades na assinatura do modelo.
Seleção de coluna (Beta):
- A nova ColumnSelection classe permite selecionar colunas de saída específicas a partir de uma fonte de funcionalidades, permitindo definições de características mais granulares.
- Suportado em create_feature(), create_training_set(), compute_features(), e log_model.
Outras melhorias:
- Novo TableTrigger tipo de trigger para materialize_features que aciona a materialização com atualizações da tabela Delta.
- score_batch é agora executado em ambientes de execução sem servidor do Databricks Runtime.
- DeltaTableSource.from_sql() agora rejeita cláusulas SQL não suportadas, como GROUP BY e ORDER BY.
- RequestSource.from_dataframe() infere o esquema de pedido a partir de um DataFrame existente.
- Removeu a dependência do Flask de databricks-feature-engineering.
- Correções de bugs e melhorias.

databricks-feature-engineering 0.14.0

Funcionalidades Declarativas em Lote (Beta):
- API de características declarativas para armazenar definições declarativas de características como funções do Catálogo Unity com agregações e janelas temporais.
- A API de funcionalidades materializadas agenda a materialização automática em lote de funcionalidades para lojas online usando cron configuráveis.
- As funcionalidades materializadas podem ser usadas na aplicação online de modelos registados no Catálogo Unity.
- Suporte para janelas deslizantes e de tumbling usando classes SlidingWindow e TumblingWindow para cálculo de características corretas em ponto no tempo create_training_set().
- filter_condition Parameter permite filtrar dados de origem ao calcular funcionalidades.
Outras melhorias:
- A nova list_online_stores() API lista todas as lojas online num catálogo ou esquema.
- Suporte para usage_policy_id acompanhamento de faturação ao criar ou atualizar lojas online.
- Mensagens de erro melhoradas quando as lojas online são eliminadas ou indisponíveis.
- Correções de bugs e melhorias de desempenho.

databricks-feature-engineering 0.13.0

APIs para gerir lojas de funcionalidades online geridas pelo Databricks.
publish_table() agora aceita source_table_name, online_table_name, e publish_mode parâmetros para especificação de tabela mais clara.
Suporte para read_replica_count ao criar ou atualizar lojas online para melhorar a escalabilidade de leitura.
Correções de bugs e melhorias.

Databricks-Feature-Engineering 0.12.1

Suporte valores padrão para consultas de funcionalidades.
Correções de bugs e melhorias.

Databricks-Feature-Engineering 0.11.0

Adicione suporte para a mlflow versão 3.0.
Correções de bugs e melhorias.

Databricks-Feature-Engineering 0.10.2

Adicione suporte para a mlflow versão 2.20.0 e superior.
Adicione suporte para a numpy versão 2.x.
Correções de bugs e melhorias.

Databricks-Feature-Engineering versão 0.9.0

Suportar o uso de prebuilt_env nas invocações score_batch.
A funcionalidade "point-in-time" melhora o desempenho com o Photon.
Correções de bugs e melhorias.

Databricks-Feature-Engineering 0.8.0

Suporte para o uso de params nas invocações de score_batch, o que permite que parâmetros adicionais sejam passados para o modelo para inferência.
Correções de bugs e melhorias.

Databricks-Feature-Engineering 0.7.0

Certas visualizações no Unity Catalog agora podem ser usadas como tabelas de recursos para treinamento e avaliação de modelos offline. Veja Ler de uma tabela de características no Catálogo Unity.
Os conjuntos de treinamento agora podem ser criados com consultas de características ou uma especificação de características. Consulte a referência do SDK do Python.

Databricks-Feature-Engineering 0.6.0

A execução de junções point-in-time com o Spark nativo agora é suportada, além do suporte existente com o Tempo. Muito obrigado a Semyon Sinchenko por sugerir a ideia!
StructType agora é suportado como um tipo de dados PySpark. StructType não é suportado para serviço online.
write_table agora suporta a escrita em tabelas que têm aglomeração líquida ativada.
O timeseries_columns parâmetro de create_table foi renomeado para timeseries_column. Os fluxos de trabalho existentes podem continuar a usar o timeseries_columns parâmetro.
score_batch agora suporta o env_manager parâmetro. Consulte a documentação do MLflow para obter mais informações.

Databricks-Feature-Engineering 0.5.0

Nova API update_feature_spec em databricks-feature-engineering que permite aos usuários atualizar o proprietário de um FeatureSpec no Unity Catalog.

databricks-feature-engineering 0.4.0

Pequenas correções de bugs e melhorias.

Databricks-Feature-Engineering 0.3.0

log_model agora usa o novo pacote PyPI databricks-feature-lookup, que inclui melhorias de desempenho para o serviço online de modelos.

databricks-feature-store 0.17.0

databricks-feature-store está obsoleto. Todos os módulos existentes neste pacote estão disponíveis na databricks-feature-engineering versão 0.2.0 e superior. Para obter detalhes, consulte Python API.

Databricks-Feature-Engineering 0.2.0

databricks-feature-engineering agora contém todos os módulos do databricks-feature-store. Para obter detalhes, consulte Python API.

databricks-feature-store 0.16.3

Corrige erro de tempo limite ao usar o AutoML com tabelas de características.

Databricks-Feature-Engineering 0.1.3

Pequenas melhorias no UpgradeClient.

databricks-feature-store 0.16.2

Agora você pode criar pontos de extremidade para Distribuição de Funcionalidades e Funções. Para obter detalhes, consulte Feature & Function Serving.

databricks-feature-store 0.16.1

Pequenas correções de bugs e melhorias.

databricks-feature-engineering 0.1.2 & databricks-feature-store 0.16.0

Pequenas correções de bugs e melhorias.
- Corrigidas as URLs de linhagem de trabalho incorretas registadas automaticamente em determinados ambientes de trabalho.

Databricks-Feature-Engineering 0.1.1

Pequenas correções de bugs e melhorias.

Databricks-Feature-Engineering 0.1.0

Versão de disponibilidade geral da Engenharia de Funcionalidades no cliente Python do Unity Catalog para PyPI

databricks-feature-store 0.15.1

Pequenas correções de bugs e melhorias.

databricks-feature-store 0.15.0

Agora você pode inferir e registrar automaticamente um exemplo de entrada ao registrar um modelo. Para fazer isso, defina infer_model_example como True quando chamar log_model. O exemplo é baseado nos dados de treinamento especificados no training_set parâmetro.

databricks-feature-store 0.14.2

Corrigir bug na publicação a partir do MariaDB Connector/J para o Aurora MySQL >= 2.7.5.

databricks-feature-store 0.14.1

Pequenas correções de bugs e melhorias.

Databricks-feature-store 0.14.0

A partir da versão 0.14.0, deve especificar colunas chave de timestamp no argumento primary_keys. As chaves de carimbo de data/hora são parte das "chaves primárias" que identificam exclusivamente cada linha da tabela de funcionalidades. Como outras colunas de chave primária, as colunas de chave de timestamp não podem conter valores NULL.

No exemplo a seguir, o DataFrame user_features_df contém as seguintes colunas: user_id, ts, purchases_30de is_free_trial_active.

0.14.0 e superior

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 e inferior

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

Pequenas correções de bugs e melhorias.

databricks-feature-store 0.13.0

A versão mínima necessária mlflow-skinny é agora 2.4.0.
A criação de um conjunto de treinamento falhará se o DataFrame fornecido não contiver todas as chaves de pesquisa necessárias.
Ao registrar um modelo que usa tabelas de recursos no Unity Catalog, uma assinatura MLflow é registrada automaticamente com o modelo.

databricks-feature-store 0.12.0

Agora você pode excluir uma loja online usando a drop_online_table API.

databricks-feature-store 0.11.0

Nos espaços de trabalho habilitados para Catálogo Unity, agora você pode publicar tabelas de recursos do espaço de trabalho e do Catálogo Unity nas lojas online do Cosmos DB. Isso requer o Databricks Runtime 13.0 ML ou superior.

databricks-feature-store 0.10.0

Pequenas correções de bugs e melhorias.

databricks-feature-store 0.9.0

Pequenas correções de bugs e melhorias.

Databricks Feature Store 0.8.0

Pequenas correções de bugs e melhorias.

Databricks-feature-store 0.7.1

Adicione flask como uma dependência para corrigir o problema de dependência ausente ao pontuar modelos com score_batch.

Databricks Feature Store 0.7.0

Pequenas correções de bugs e melhorias.

databricks-feature-store 0.6.1

Lançamento público inicial do cliente Databricks Feature Store para o PyPI.

Comentários

Esta página foi útil?

Última atualização a 2026-10-01