Directiva de mantenimiento de modelos de IA

Esta página describe la política de mantenimiento de modelos para las APIs de Foundation Model pay-per-token, el rendimiento provisionado de las APIs de Foundation Model y la Inferencia por Lotes con ai_query ofertas.

Para seguir dando soporte a los modelos más avanzados, Databricks gestiona modelos a lo largo de un ciclo de vida que va desde el estado heredado hasta la desuetud y la eventual jubilación.

• Legado: Cuando un modelo se marca como heredado, ya no se recomienda para nuevas cargas de trabajo, pero sigue disponible en espacios de trabajo con uso existente del modelo. Los espacios de trabajo que no usan el modelo cuando entra en estado de legado ya no tienen acceso al modelo. Los clientes que usen este modelo deberían evaluar modelos más recientes y considerar la migración.
• Deprecia: Cuando un modelo es obsoleto, se anuncia una fecha de retirada de 30 o 90 días en el futuro. No se recomienda para nuevas cargas de trabajo, pero sigue disponible en espacios de trabajo con el uso existente del modelo. Los espacios de trabajo que no están usando el modelo en el momento de la deprecación no tienen acceso al modelo. Los clientes que usen este modelo deberían evaluar modelos más recientes y planificar migrar sus cargas de trabajo antes de la fecha de retirada.
• Retirada: Cuando un modelo se retira, deja de ser accesible y el soporte para el modelo se descontinúa por completo. Cualquier carga de trabajo usando el modelo ya no funciona.

Política del ciclo de vida del modelo

La siguiente sección resume la política del ciclo de vida del modelo. Consulta modelos obsoletos para una lista de modelos obsoletos y fechas de retirada.

Se tienen en cuenta muchos factores al determinar el calendario de retirada, incluyendo la popularidad del modelo, el modelo de reemplazo adecuado y la cantidad de uso de producción. Databricks anuncia las fechas de retirada de los modelos cuando están obsoletos, siguiendo los plazos de notificación indicados a continuación.

API de Foundation Model

La siguiente tabla resume la política del ciclo de vida del modelo para productos de APIs de Modelos de Fundación: pago por token, rendimiento provisionado y ai_query (inferencia por lotes).

Directiva de retirada del modelo de asociado

Los modelos de asociados son modelos que proporcionan asociados de terceros ( específicamente OpenAI, Anthropic y Google) a través de las API de Foundation Model. Para estos modelos de asociados, Databricks suele seguir las mismas escalas de tiempo de desuso y directivas descritas anteriormente.

Sin embargo, los socios podrían proporcionar fechas de jubilación más cortas que el periodo de transición de un mes que publica Databricks. En estos casos, Databricks intenta salvar la brecha mediante la redirección temporal de modelos a una versión similar, por lo que los clientes reciben el tiempo de transición completo.

Por ejemplo, si se anuncia la jubilación de un modelo de socio con un plazo de espera de dos semanas en lugar de un mes, Databricks redirige el modelo dos semanas adicionales para evitar interrupciones inmediatas y permitir tiempo para la migración. Las consultas fallan al final del periodo completo de un mes.

Modelos en desuso y retirados

En las secciones siguientes se enumeran los modelos que están en desuso (ya no se recomiendan para las nuevas cargas de trabajo) ni se retiran (final de ciclo de vida y ya no están disponibles). Las fechas de retirada de los modelos obsoletos se anuncian al menos un mes antes.

Retiradas de las API de Foundation Model

En la tabla siguiente se muestran las retiradas del modelo, sus fechas de retirada y los modelos de reemplazo recomendados para usar las API de Foundation Model de pago por token y rendimiento aprovisionado que sirven cargas de trabajo. Databricks recomienda migrar las aplicaciones para que usen modelos de reemplazo antes de la fecha de retirada indicada.

Si necesita soporte a largo plazo para una versión de modelo específica, Databricks recomienda usar las API de Foundation Model de rendimiento aprovisionado para las cargas de trabajo de servicio.

Búsqueda de cargas de trabajo que usan modelos retirados

Use la consulta siguiente para buscar cargas de trabajo que usan modelos en desuso e identificar a sus propietarios.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC