Gestão de custos da Feature Store

Esta página descreve como a Azure Databricks Feature Store cobra pelo cálculo e como monitorizar e otimizar esses custos. Feature Store é faturada ao preço de custo: paga apenas pela computação serverless subjacente, pelo armazenamento online e pela infraestrutura de disponibilização, sem qualquer margem adicional.

  • A materialização de atributos é executada como computação sem servidor e aparece na faturação na rubrica do produto FEATURE_STORE, sendo faturada à mesma tarifa que as tarefas sem servidor e os pipelines do Lakeflow.
  • Os pontos finais de disponibilização de funcionalidades são faturados ao abrigo do SKU Model Serving.
  • Lojas online são faturadas com base na capacidade de computação do Lakebase, em função da unidade de capacidade (CU) e do número de réplicas.

Como a Feature Store é faturada

Materialização de funcionalidades

Quando as vistas de funcionalidades são materializadas, o Azure Databricks executa um pipeline sem servidor para calcular e escrever os valores das funcionalidades em destinos offline e online. Isto inclui tarefas de materialização em lote, pipelines de fluxo contínuo e ingestão através do Kafka. Estas pipelines são executadas em computação sem servidor e são faturadas ao preço de custo, com um multiplicador de 1x e sem qualquer sobretaxa sobre a plataforma subjacente sem servidor.

Na tabela do sistema de utilização faturada, a utilização da materialização aparece com billing_origin_product definido para FEATURE_STORE e um SKU de computação sem servidor (JOBS_SERVERLESS_COMPUTE, precedido do escalão e da região da sua área de trabalho). A utilização é is_serverless e is_photon, e usage_metadata inclui data_source (DELTA_TABLE_SOURCE ou KAFKA_SOURCE) e operation (FEATURE_MATERIALIZATION ou KAFKA_INGESTION) por isso podes dividir o custo por lote versus as cargas de trabalho em streaming.

Para reduzir o custo de computação, agrupe características que partilham um destino offline, um destino online e um acionador numa única chamada a materialize_features para que sejam executadas num único pipeline. Consulte Materialize Feature Views. Para saber mais sobre como a computação sem servidor é cobrada, consulte Execute os seus Lakeflow Jobs com computação sem servidor para fluxos de trabalho.

Endpoints de serviço de funcionalidades

Os endpoints de disponibilização de atributos fornecem atributos pré-calculados e a pedido para aplicações em tempo real. Funcionam no Model Serving e são faturados de acordo com o SKU do Model Serving (SERVERLESS_REAL_TIME_INFERENCE), tal como os endpoints personalizados de Model Serving. As cobranças variam em função dos recursos de computação que o endpoint aprovisiona para processar o tráfego de pedidos. Consulte as tabelas de funcionalidades Serve e a página de preços do Model Serving.

Lojas online

As lojas online oferecem funcionalidades com baixa latência para inferência online. Uma loja online do Azure Databricks é suportada pelo Lakebase e é faturada com base na computação do Lakebase, de acordo com as unidades de capacidade (CUs) e as réplicas de leitura que aprovisiona. Cada unidade de capacidade aloca computação, memória e armazenamento à instância, e pode adicionar réplicas de leitura para maior disponibilidade e rendimento de leitura. Consulte as Feature Stores Online do Databrick para orientações sobre dimensionamento, Gerenciar cálculos para ver como as unidades de capacidade correspondem ao cálculo e a página de preços do Lakebase.

Custos de atributos com tags e políticas de utilização serverless

Importante

Esta funcionalidade está em Pré-visualização Privada. Para experimentar, contacte o seu contacto do Azure Databricks.

Ao criar uma materialização ou um Stream, especifique tags personalizadas, uma política de utilização sem servidor ou ambos. O Azure Databricks aplica-os à tarefa ou ao pipeline do Lakeflow que cria, pelo que a despesa correspondente fica associada à sua atribuição na tabela de sistema da utilização faturável. Para criar uma política e obter o respetivo ID, consulte Criar uma política de utilização sem servidor.

Os dois valores são aplicados quando o job ou pipeline é criado. Para atribuir computação existente de forma diferente, crie uma nova materialização ou Stream.

Cálculo de materialização de atributos

Passe tags, budget_policy_id, ou ambos para materialize_features:

materialized = fe.materialize_features(
    features=features,
    offline_config=offline_config,
    trigger=trigger,
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Para a assinatura completa, consulte Materialize Feature Views.

Cálculo de ingestão gerido por atributos

Para um Stream, defina tags e budget_policy_id no(a) IngestionConfig que passa a create_stream:

from databricks.feature_engineering.entities import IngestionConfig, IngestionDestination

ingestion_config = IngestionConfig(
    ingestion_destination=IngestionDestination(
        delta_table_name="my_catalog.my_schema.events_ingestion"
    ),
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Para as restantes opções de ingestão, consulte Configurar um Fluxo.

Calcule a atribuição aplica-se a

As etiquetas e a política de utilização sem servidor aplicam-se à capacidade de computação que materializa atributos ou ingere dados de Stream: a tarefa de materialização em lote, o pipeline de streaming do Lakeflow e a tarefa que o orquestra, e o pipeline de ingestão de um Stream do Lakeflow com as suas tarefas de preenchimento progressivo e de preenchimento retroativo. Quando materializa dados como uma nova tabela online, essas regras também se aplicam ao pipeline Lakeflow que mantém essa tabela sincronizada.

Não se aplicam à própria loja online. Para associar a capacidade de computação própria de uma loja online, defina uma política de uso sem servidor na loja. Consulte Databricks Online Feature Stores.

Limitações

  • A materialização numa tabela online já existente não aplica nem tags nem budget_policy_id e não devolve qualquer erro. O pipeline Lakeflow que mantém essa tabela sincronizada mantém as etiquetas com que foi criada. Para alterar a atribuição, materialize para uma nova tabela online.
  • Consegues passar no máximo 25 etiquetas.
  • Uma chave de etiqueta pode ter até 127 caracteres e um valor de etiqueta até 65.535 caracteres. Nenhum deles pode ser vazio.
  • Uma chave de etiquetas não pode começar com databricks:. Esse prefixo está reservado e a verificação ignora o caso.

Monitorizar a utilização e os custos

Pode monitorizar os custos da Feature Store usando a tabela do sistema de utilização faturável, system.billing.usage. O uso da materialização é identificado por billing_origin_product = 'FEATURE_STORE':

SELECT
  usage_date,
  usage_metadata.data_source,
  usage_metadata.operation,
  usage_metadata.job_id,
  usage_metadata.dlt_pipeline_id,
  identity_metadata.run_as,
  sum(usage_quantity) AS dbus,
  usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;

Use usage_metadata.data_source e operation para dividir custos por lote versus streaming. Os campos usage_metadata.job_id e usage_metadata.dlt_pipeline_id identificam a tarefa de materialização ou o pipeline específico que produziu cada linha de custos, pelo que pode agrupá-las por esses campos para atribuição por pipeline.

A coluna custom_tags contém as tags que forneceu, juntamente com as tags incluídas na política de utilização serverless, para que possa agrupar ou filtrar por custom_tags['<key>'] para atribuir os custos. Para saber de que forma as etiquetas de política chegam aos registos de faturação, consulte Analisar as etiquetas de política de utilização sem servidor nos registos de faturação.

A disponibilização de funcionalidades e os custos do armazenamento online são acompanhados separadamente:

  • Os pontos finais de disponibilização de características aparecem na SKU Model Serving. Consulte os custos da disponibilização do modelo.
  • A computação da loja online aparece na SKU serverless do servidor Lakebase (base de dados).

Para detalhes sobre a tabela de utilização faturável e como a consultar, consulte Referência da tabela do sistema de utilização faturável.

Melhores práticas de otimização de custos

  • Agrupar funcionalidades em pipelines de materialização partilhados: Funcionalidades que partilham um destino offline, um destino online e um trigger podem materializar-se em conjunto num único pipeline, o que reduz o número de pipelines pelos quais paga.
  • Reutilizar lojas online: você pode publicar várias tabelas de recursos em uma única loja online. Para desenvolvimento, testes e formação, partilhe uma loja online entre projetos em vez de criar lojas separadas.
  • Capacidade de loja online de tamanho adequado: Comece com uma unidade de pequena capacidade para testes e aumente ou diminua consoante o desempenho e o custo.
  • Eliminar recursos que não estejam em uso: As lojas online têm custos continuamente. Eliminar lojas online e pipelines de materialização que já não são necessários.
  • Escolha um gatilho de materialização apropriado: Gatilhos programados menos frequentes custam menos do que a rematerialização contínua ou frequente. Associe o acionador ao grau de atualização de que as suas funcionalidades precisam.

Recursos adicionais

  • Última atualização a