Gerenciamento de custos do Feature Store

Esta página descreve como a Loja de Recursos do Azure Databricks cobra pela computação e como monitorar e otimizar esses custos. O Feature Store é cobrado pelo custo: você paga pela computação sem servidor, pelo armazenamento online e pela infraestrutura de atendimento, sem nenhum custo adicional.

  • Materialização de recursos é executada como computação sem servidor e aparece no faturamento do produto FEATURE_STORE cobrada na mesma taxa que trabalhos sem servidor e pipelines Lakeflow.
  • Os pontos de extremidade de disponibilização de atributos são faturados com base na SKU do Serviço de Modelo.
  • Lojas online são cobradas com base na computação do Lakebase, de acordo com a unidade de capacidade (CU) e o número de réplicas.

Como o Feature Store é cobrado

Materialização de recursos

Quando você materializa exibições de recursos, o Azure Databricks executa um pipeline sem servidor para calcular e gravar valores de recursos em destinos offline e online. Isso inclui trabalhos de materialização em lote, pipelines de transmissão e ingestão do Kafka. Esses pipelines são executados na computação sem servidor e são cobrados a custo, com um multiplicador de 1x e nenhum premium na plataforma sem servidor.

Na tabela do sistema de uso faturável, o uso de materialização aparece com billing_origin_product definido como FEATURE_STORE e um SKU de computação sem servidor (JOBS_SERVERLESS_COMPUTE, prefixado pela camada do workspace e pela região). O uso é is_serverless e is_photon, e usage_metadata inclui data_source (DELTA_TABLE_SOURCE ou KAFKA_SOURCE) e operation (FEATURE_MATERIALIZATION ou KAFKA_INGESTION), para que você possa segmentar os custos entre cargas de trabalho em lote e de streaming.

Para reduzir o custo de computação, agrupe atributos que compartilham um destino offline, um destino online e um gatilho em uma única chamada materialize_features para que sejam executados em um único pipeline. Consulte Materializar exibições de recursos. Para obter mais informações sobre como a computação sem servidor é cobrada, consulte Executar seus Trabalhos do Lakeflow com computação sem servidor para fluxos de trabalho.

Pontos de extremidade do serviço de recursos

Os pontos de extremidade de disponibilização de atributos fornecem atributos pré-computados e sob demanda para aplicações em tempo real. Eles são executados no Serviço de Modelo e são cobrados de acordo com o SKU do Serviço de Modelo (SERVERLESS_REAL_TIME_INFERENCE), o mesmo usado para pontos de extremidade personalizados do Serviço de Modelo. Os custos variam de acordo com os recursos de computação provisionados para o endpoint para lidar com o tráfego de solicitações. Veja as tabelas de recursos de Serve e a página de preços do Model Serving.

Lojas online

As lojas online atendem recursos com baixa latência para inferência online. Uma loja online do Azure Databricks é viabilizada pelo Lakebase e é cobrada com base na computação do Lakebase, com base nas unidades de capacidade (CUs) e nas réplicas de leitura que ela provisiona. Cada unidade de capacidade aloca computação, memória e armazenamento à instância, e você pode adicionar réplicas de leitura para maior disponibilidade e maior taxa de transferência de leitura. Consulte Databricks Online Feature Stores para obter orientações de dimensionamento, Gerenciar computação para saber como as unidades de capacidade são mapeadas para a computação e a página de preços do Lakebase.

Atribua custos com tags e políticas de uso sem servidor

Importante

Este recurso está em Versão prévia privada. Para experimentá-lo, entre em contato com o representante do Azure Databricks.

Quando você cria uma materialização ou um Stream, passe tags personalizadas, uma política de uso serverless, ou ambos. O Azure Databricks aplica essas tags ao trabalho ou pipeline do Lakeflow que cria, de modo que o gasto inclua sua atribuição na tabela de uso faturável do sistema. Para criar uma política e obter seu ID, veja Criar uma política de uso serverless.

Ambos os valores são aplicados quando a tarefa ou pipeline é criada. Para atribuir recursos computacionais existentes de forma diferente, crie uma nova materialização ou Stream.

Cálculo de materialização de atributos

Passe tags, budget_policy_id, ou ambos para materialize_features:

materialized = fe.materialize_features(
    features=features,
    offline_config=offline_config,
    trigger=trigger,
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Para a assinatura completa, veja Materialize Feature Views.

Computação de ingestão gerenciada por atributo

Para um Stream, defina tags e budget_policy_id no IngestionConfig que você passa para create_stream:

from databricks.feature_engineering.entities import IngestionConfig, IngestionDestination

ingestion_config = IngestionConfig(
    ingestion_destination=IngestionDestination(
        delta_table_name="my_catalog.my_schema.events_ingestion"
    ),
    tags={"team": "ml-platform", "project": "churn"},
    budget_policy_id="555e8888-e999-4444-a777-446655440000",
)

Para as opções restantes de ingestão, veja Configurar um Fluxo.

Calcule a atribuição se aplica a

As tags e a política de uso sem servidor se aplicam aos recursos computacionais que materializam feições ou ingerem dados do Stream: o trabalho de materialização em lote, o pipeline de streaming do Lakeflow e o trabalho que o orquestra, e o pipeline de ingestão do Lakeflow de um Stream com seus trabalhos de preenchimento e retrocesso. Quando você materializa uma nova tabela online, elas também se aplicam ao pipeline Lakeflow que mantém essa tabela sincronizada.

Eles não se aplicam à própria loja online. Para atribuir recursos computacionais próprios de uma loja online, defina uma política de uso sem servidor na loja. Consulte repositórios de recursos do Databricks Online.

Limitações

  • Materializar para uma tabela online que já existe não aplica tags nem budget_policy_id e não retorna nenhum erro. O pipeline Lakeflow que mantém essa tabela sincronizada mantém as tags com as quais foi criada. Para alterar a atribuição, materialize os dados em uma nova tabela online.
  • Você pode passar no máximo 25 tags.
  • Uma chave de tag pode ter até 127 caracteres e um valor de tag pode chegar a 65.535 caracteres. Nenhum dos dois pode ser vazio.
  • Uma chave de tag não pode começar com databricks:. Esse prefixo é reservado, e a verificação ignora o caso.

Monitorar o uso e os custos

Você pode monitorar os custos do Feature Store por meio da tabela do sistema de uso cobrável, system.billing.usage. O uso da materialização é identificado por billing_origin_product = 'FEATURE_STORE':

SELECT
  usage_date,
  usage_metadata.data_source,
  usage_metadata.operation,
  usage_metadata.job_id,
  usage_metadata.dlt_pipeline_id,
  identity_metadata.run_as,
  sum(usage_quantity) AS dbus,
  usage_unit
FROM system.billing.usage
WHERE billing_origin_product = 'FEATURE_STORE'
GROUP BY ALL;

Use usage_metadata.data_source e operation para detalhar os custos entre lote e streaming. Os campos usage_metadata.job_id e usage_metadata.dlt_pipeline_id identificam o trabalho ou pipeline de materialização específico que produziu cada linha de custo, para que você possa agrupá-los para atribuição por pipeline.

A coluna custom_tags contém as tags que você forneceu junto com as tags associadas à política de uso serverless, para que você possa agrupar ou filtrar por custom_tags['<key>'] para atribuir os gastos. Para entender como as tags de política chegam aos registros de faturamento, consulte Analise as tags de política de uso sem servidor nos registros de faturamento.

Os custos de fornecimento de recursos e de armazenamento online são rastreados separadamente:

  • Os pontos de extremidade do Serviço de Recurso aparecem na SKU de Serviço de Modelo. Consulte Monitorar os custos do Serviço de Modelo.
  • A computação da loja online aparece na SKU sem servidor do servidor Lakebase (banco de dados).

Para obter detalhes sobre a tabela de uso faturável e como consultá-la, consulte a referência da tabela do sistema de uso faturável.

Práticas recomendadas de otimização de custos

  • Agrupe atributos em pipelines compartilhados de materialização: atributos que compartilham um destino offline, um destino online e um gatilho podem ser materializados juntos em um único pipeline, o que reduz o número de pipelines pelos quais você paga.
  • Reutilizar lojas online: você pode publicar várias tabelas de funcionalidades em uma única loja online. Para desenvolvimento, teste e treinamento, compartilhe uma loja online entre projetos em vez de criar lojas separadas.
  • Dimensione adequadamente a capacidade da loja online: Comece com uma unidade de capacidade pequena para testes e aumente ou reduza com base no desempenho e no custo.
  • Excluir recursos que não estão em uso: os repositórios online incorrem continuamente em custos. Exclua armazenamentos online e pipelines de materialização que não sejam mais necessários.
  • Escolha um gatilho de materialização apropriado: gatilhos programados menos frequentes custam menos do que a rematerialização contínua ou frequente. Associe o gatilho ao nível de atualização necessário para suas funcionalidades.

Recursos adicionais

  • Última atualização em