Stratégie de maintenance des modèles IA

Cette page décrit la politique de maintenance des modèles pour le paiement par token des API Foundation Model, le débit provisionné des API Foundation Model et l’inférence par lots avec ai_query les offres.

Pour continuer à supporter les modèles les plus modernes, Databricks gère des modèles tout au long d’un cycle de vie qui va du statut hérité à la dépréciation jusqu’à la retraite.

• Héritage : Lorsqu’un modèle est marqué comme hérité, il n’est plus recommandé pour de nouvelles charges de travail, mais reste disponible dans les espaces de travail où le modèle est déjà utilisé. Les espaces de travail qui n’utilisent pas le modèle lorsqu’il passe en statut hérité n’ont plus accès au modèle. Les clients utilisant un tel modèle devraient évaluer les modèles plus récents et envisager la migration.
• Dépréciation : lorsqu’un modèle est déprécié, une date de retraite est annoncée dans 30 ou 90 jours dans le futur. Il n’est pas recommandé pour les nouvelles charges de travail, mais reste disponible dans les espaces de travail avec l’utilisation existante du modèle. Les espaces de travail qui n’utilisent pas le modèle au moment de la dépréciation n’ont pas accès au modèle. Les clients utilisant un tel modèle devraient évaluer les modèles plus récents et prévoir de migrer leurs charges de travail avant la date de départ à la retraite.
• Retraite : Lorsqu’un modèle est retiré, il n’est plus accessible et le support pour ce modèle est totalement abandonné. Toute charge de travail utilisant ce modèle ne fonctionne plus.

Politique du cycle de vie du modèle

La section suivante résume la politique du cycle de vie du modèle. Voir Modèles obsolètes pour une liste des modèles obsolètes et des dates de retraite.

De nombreux facteurs sont pris en compte lors de la détermination du calendrier de mise à la retraite, notamment la popularité du modèle, le modèle de remplacement adapté et la quantité d’utilisation de la production. Databricks annonce les dates de retrait des modèles lorsqu’ils sont dépréciés, en suivant les délais de notification indiqués ci-dessous.

Modèle de base des API

Le tableau suivant résume la politique du cycle de vie du modèle pour les produits des API Foundation Model : paiement par jeton, débit provisionné et ai_query (inférence par lot).

Stratégie de mise hors service du modèle partenaire

Les modèles partenaires sont des modèles que les partenaires tiers ( en particulier OpenAI, Anthropic et Google) fournissent via les API Foundation Model. Pour ces modèles partenaires, Databricks suit généralement les mêmes chronologies et stratégies de dépréciation décrites ci-dessus.

Cependant, les partenaires peuvent proposer des dates de retraite plus courtes que la période de transition d’un mois publiée par Databricks. Dans ce cas, Databricks tente de combler l’écart en redirigeant temporairement les modèles vers une version similaire, afin que les clients reçoivent le temps de transition complet.

Par exemple, si un départ à la retraite d’un modèle partenaire est annoncé avec un délai de deux semaines au lieu d’un mois, Databricks redirige le modèle de deux semaines supplémentaires afin d’éviter une rupture immédiate et de laisser un délai de migration. Les requêtes échouent à la fin de la période complète d’un mois.

Modèles dépréciés et supprimés

Les sections suivantes répertorient les modèles déconseillés (qui ne sont plus recommandés pour les nouvelles charges de travail) ou supprimés (fin de vie et qui ne sont plus disponibles). Les dates de départ des modèles obsolètes sont annoncées au moins un mois à l’avance.

Mise hors service des API de modèle de fondation

Le tableau suivant présente les retraits des modèles, leurs dates de mise hors service et les modèles de remplacement recommandés à utiliser pour les API de modèle Foundation et les charges de travail de service de débit approvisionnées. Databricks vous recommande de migrer vos applications pour utiliser des modèles de remplacement avant la date de mise hors service indiquée.

Si vous avez besoin d’un support à long terme pour une version spécifique d'un modèle, Databricks recommande d’utiliser les API Foundation Model débit provisionné pour vos charges de travail de déploiement.

Rechercher des charges de travail qui utilisent des modèles supprimés

Utilisez la requête suivante pour rechercher les charges de travail qui utilisent des modèles déconseillés et identifier leurs propriétaires.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC