Usar recursos em fluxos de trabalho online

O Databricks Feature Serving disponibiliza dados na plataforma Databricks para modelos ou aplicativos implantados fora do Azure Databricks. Você pode sincronizar dados para um Armazenamento de Recursos Online usando Exibições de Recursos ou tabelas de recursos, e então agrupar recursos em um FeatureSpec que pode ser um serviço de um ponto de extremidade do serviço de recursos.

A mesma infraestrutura alimenta tanto os endpoints de serving de features quanto os de serving de modelos, compartilhando capacidades como autoescalonamento, alta disponibilidade, observabilidade e otimização de rotas.

O Databricks oferece três opções para servir features:

1. Os pontos de extremidades do Serviço de Modelo vêm com pesquisa automática de recursos embutida para modelos registrados em log pelo cliente de Engenharia de Recursos. Quando você treina e registra em log o modelo, o Databricks captura a linhagem dos recursos e realiza a pesquisa automaticamente como parte da solicitação do Serviço de Modelo.
2. Os pontos de extremidade do serviço de recursos funcionam melhor quando você consome recursos fora do Databricks, como em um modelo hospedado externamente ou em um mecanismo de regras. O ponto de extremidade retorna recursos diretamente e pode combinar pesquisas de recursos com computação de recursos sob demanda em uma única solicitação.
3. As consultas diretas no Lakebase podem ser a escolha certa para consultas de recursos sensíveis à latência, em que cada milissegundo importa e você consome recursos fora do Serviço de Modelo do Databricks. Crie seu armazenamento online e configure a sincronização correta (materialização para Exibições de Recursos, publicação para tabelas de recursos), depois consulte o Lakebase como qualquer outro banco de dados. Este padrão não suporta Sawtooth Feature Views, On Demand Features ou nomes de recursos com mais de 64 caracteres.

Busca automática de funções

Ao treinar um modelo usando o Databricks Feature Store e atendê-lo com o Databricks Model Serving, o modelo pesquisa automaticamente os valores de recursos de um Repositório de Recursos do Databricks Online ou de um repositório online de terceiros. Isso acontece automaticamente sem nenhuma configuração necessária.

Quando uma solicitação de avaliação chega ao modelo, o Serviço de Processamento de Modelos recupera automaticamente os valores de características publicados necessários para o modelo. Dessa forma, os valores de recurso mais recentes são sempre usados para previsões. Para obter detalhes e blocos de anotações de exemplo, consulte Model Serving com pesquisa automática de recursos.

O diagrama a seguir ilustra a relação entre os componentes da plataforma para o serviço em tempo real.

Pontos de extremidade do serviço de recursos

Para clientes que executam modelos fora do Databricks, os dados de recursos de serviço oferecem uma interface única que fornece dados de recursos pré-materializados direto do Lakehouse junto com recursos sob demanda. Ele também inclui os seguintes benefícios:

• Simplicidade. O Databricks manipula a infraestrutura. Com uma única chamada à API, o Databricks cria um ambiente de serviço pronto para produção.
• Alta disponibilidade e escalabilidade. Os pontos de extremidade do Serviço de Recursos são escalados e reduzidos automaticamente para ajustarem-se ao volume de solicitações de serviço.
• Segurança. Os pontos de extremidade são implantados em um limite de rede seguro e usam computação dedicada que termina quando o ponto de extremidade é excluído ou dimensionado para zero.

Recursos sob demanda

Os modelos de machine learning para aplicativos em tempo real geralmente exigem os valores de recursos mais recentes. No exemplo mostrado no diagrama, um recurso para um modelo de recomendação de restaurante é a distância atual do usuário de um restaurante. Esse recurso deve ser calculado "sob demanda", ou seja, no momento da solicitação de pontuação. Ao receber uma solicitação de pontuação, o modelo pesquisa a localização do restaurante e aplica uma função predefinida para calcular a distância entre a localização atual do usuário e o restaurante. Essa distância é passada como uma entrada para o modelo, juntamente com outros recursos pré-computados do repositório de recursos.

Para obter mais informações, consulte recursos de computação sob demanda.