Política de manutenção de modelos de IA

Esta página descreve a política de manutenção de modelo para as APIs do Modelo de Fundação pagas por token, a taxa de transferência provisionada das APIs do Modelo de Fundação, a Inferência do Lote e ai_queryas ofertas de ajuste fino do Modelo de Fundação .

Para continuar dando suporte aos modelos de última geração, o Databricks gerencia modelos por meio de um ciclo de vida que progride da atualização para a substituição até a eventual aposentadoria.

• Atualização: o Databricks aplica atualizações incrementais a um modelo para fornecer otimizações. Confira as atualizações do modelo.
• Preterido: um modelo preterido não é mais recomendado para novas cargas de trabalho, mas permanece disponível em workspaces com o uso existente do modelo. Workspaces que não estão usando o modelo no momento da substituição não têm mais acesso a ele.
• Desativado: um modelo desativado não é mais acessível e o suporte para o modelo é totalmente descontinuado. Qualquer carga de trabalho usando o modelo para de funcionar.

Política de substituição de modelo

Quando o Databricks substitui um modelo, esse modelo não é mais recomendado e está planejado para a desativação. O Databricks anuncia datas de desativação para modelos preteridos com as linhas do tempo de notificação resumidas nas seções a seguir. As datas de desativação podem ser anunciadas no momento da substituição ou em uma data posterior. Após a data de desativação, o modelo não estará mais acessível e qualquer carga de trabalho que o usar deixará de funcionar.

Para modelos preteridos e aposentados e suas datas de aposentadoria anunciadas, consulte modelos preteridos e aposentados. Para modelos de parceiro, consulte a política de desativação do modelo de parceiro.

APIs de Modelos Fundamentais

A tabela a seguir resume a política de substituição para as APIs do Modelo de Fundação pagas por token, a taxa de transferência provisionada das APIs do Modelo de Fundação e a Inferência do Lote com ai_query ofertas.

Política de desativação do modelo de parceiro

Modelos de parceiro são modelos que parceiros de terceiros – especificamente OpenAI, Anthropic e Google – fornecem por meio de APIs do Foundation Model. Para esses modelos de parceiro, o Databricks geralmente segue as mesmas linhas do tempo de substituição e as políticas descritas acima.

No entanto, os parceiros podem fornecer datas de desativação menores do que o período de transição de três meses publicado pelo Databricks. Nesses casos, o Databricks tenta preencher a lacuna redirecionando temporariamente modelos para uma versão semelhante, para que os clientes recebam o tempo de transição completo.

Por exemplo, se uma desativação do modelo de parceiro for anunciada com um mês de tempo de entrega em vez de três, o Databricks redirecionará o modelo por mais dois meses para evitar interrupções imediatas e permitir tempo para a migração. As consultas falham no final do período completo de três meses.

Aprimoramento do Modelo Base

A tabela a seguir resume a política de substituição para ajuste fino do Modelo de Fundação.

Atualizações de modelo

O Databricks pode enviar atualizações incrementais de modelo para fornecer otimizações. Quando o Databricks atualiza um modelo, a URL do ponto de extremidade permanece a mesma, mas a ID do modelo no objeto de resposta muda para refletir a data da atualização. Por exemplo, se o Databricks enviar uma atualização para meta-llama/Meta-Llama-3.3-70B 3/4/2024, o nome do modelo no objeto de resposta será atualizado para meta-llama/Meta-Llama-3.3-70B-030424. O Databricks mantém um histórico de versões das atualizações. Entre em contato com sua equipe de conta do Databricks para obter mais detalhes.

Modelos preteridos e desativados

As seções a seguir listam modelos preteridos (não mais recomendados para novas cargas de trabalho) ou desativados (fim da vida útil e não estão mais disponíveis). As datas de desativação dos modelos preteridos são anunciadas com pelo menos três meses de antecedência.

Desativações de APIs do Modelo de Fundação

A tabela a seguir mostra as aposentadorias do modelo, suas datas de desativação e os modelos de substituição recomendados a serem usados para as APIs do Foundation Model pagas por token e a taxa de transferência provisionada que atende cargas de trabalho. O Databricks recomenda que você migre seus aplicativos para usar modelos de substituição antes da data de desativação indicada.

Se você precisar de suporte de longo prazo para uma versão de modelo específica, o Databricks recomenda usar a taxa de transferência provisionada das APIs do Foundation Model para suas cargas de trabalho de serviço.

Desativações de ajustes fino do Foundation Model

A tabela a seguir mostra famílias de modelos desativadas, suas datas de desativação e famílias de modelos de substituição recomendadas para serem usadas em cargas de trabalho de ajuste fino do Foundation Model. O Databricks recomenda que você migre seus aplicativos para usar modelos de substituição antes da data de desativação indicada.

Localizar cargas de trabalho que usam modelos desativados

Use a consulta a seguir para localizar cargas de trabalho que estão usando modelos preteridos e identificar seus proprietários.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC