Política de manutenção de modelos de IA

Esta página descreve a política de manutenção do modelo para as APIs do Modelo Foundation pay-per-token, o throughput provisionado das APIs do Modelo Foundation e a Inferência em Lote com ai_query ofertas.

Para continuar suportando os modelos mais avançados, a Databricks gerencia modelos ao longo de um ciclo de vida que vai do status legado para a depretivação e eventual aposentadoria.

• Legado: Quando um modelo é marcado como legado, ele não é mais recomendado para novas cargas de trabalho, permanecendo disponível em espaços de trabalho com uso existente do modelo. Espaços de trabalho que não estão usando o modelo quando ele entra em status legado não têm mais acesso ao modelo. Clientes que utilizam esse modelo devem avaliar modelos mais novos e considerar migração.
• Depreciação: Quando um modelo é descontinuado, é anunciada uma data de aposentadoria de 30 ou 90 dias no futuro. Não é recomendado para novas cargas de trabalho, mas permanece disponível em espaços de trabalho com uso existente do modelo. Espaços de trabalho que não estão usando o modelo no momento da descontinuação não têm acesso ao modelo. Clientes que utilizam esse modelo devem avaliar modelos mais novos e planejar migrar suas cargas de trabalho antes da data de aposentadoria.
• Aposentadoria: Quando um modelo é aposentado, ele não é mais acessível e o suporte ao modelo é totalmente descontinuado. Qualquer carga de trabalho usando o modelo não funciona mais.

Política do ciclo de vida do modelo

A seção a seguir resume a política do ciclo de vida do modelo. Veja modelos obsoletos para uma lista de modelos obsoletos e datas de aposentadoria.

Muitos fatores são considerados ao determinar o cronograma de aposentadoria, incluindo popularidade do modelo, modelo de substituição adequado e quantidade de uso de produção. A Databricks anuncia as datas de aposentadoria dos modelos quando eles são obsoletos, seguindo os prazos de notificação descritos abaixo.

APIs de Modelos Fundamentais

A tabela a seguir resume a política do ciclo de vida do modelo para produtos de APIs do Modelo Foundation: pagamento por token, throughput provisionado e ai_query (inferência em lote).

Política de desativação do modelo de parceiro

Modelos de parceiro são modelos que parceiros de terceiros – especificamente OpenAI, Anthropic e Google – fornecem por meio de APIs do Foundation Model. Para esses modelos de parceiro, o Databricks geralmente segue as mesmas linhas do tempo de substituição e as políticas descritas acima.

No entanto, os parceiros podem oferecer datas de aposentadoria mais curtas do que o período de transição de um mês que a Databricks publica. Nesses casos, o Databricks tenta preencher a lacuna redirecionando temporariamente modelos para uma versão semelhante, para que os clientes recebam o tempo de transição completo.

Por exemplo, se a aposentadoria de um modelo parceiro for anunciada com um prazo de entrega de duas semanas em vez de um mês, o Databricks redireciona o modelo por mais duas semanas para evitar quebras imediatas e permitir tempo para migração. As consultas falham ao final do período completo de um mês.

Modelos preteridos e desativados

As seções a seguir listam modelos preteridos (não mais recomendados para novas cargas de trabalho) ou desativados (fim da vida útil e não estão mais disponíveis). As datas de aposentadoria dos modelos obsoletos são anunciadas pelo menos um mês antes.

Desativações de APIs do Modelo de Fundação

A tabela a seguir mostra as aposentadorias do modelo, suas datas de desativação e os modelos de substituição recomendados a serem usados para as APIs do Foundation Model pagas por token e a taxa de transferência provisionada que atende cargas de trabalho. O Databricks recomenda que você migre seus aplicativos para usar modelos de substituição antes da data de desativação indicada.

Se você precisar de suporte de longo prazo para uma versão de modelo específica, o Databricks recomenda usar a taxa de transferência provisionada das APIs do Foundation Model para suas cargas de trabalho de serviço.

Localizar cargas de trabalho que usam modelos desativados

Use a consulta a seguir para localizar cargas de trabalho que estão usando modelos preteridos e identificar seus proprietários.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC