Imposer des limites de jetons pour les modèles

Microsoft Foundry Control Plane applique des limites de débit en jetons par minute (TPM) ainsi que des quotas globaux de jetons pour les déploiements de modèles à l’échelle du projet. Cette mesure empêche la consommation incontrôlée de jetons et aligne leur utilisation avec les garde-fous de l’organisation. Foundry Control Plane s’intègre à AI Gateway pour fournir une application avancée des politiques appliquées aux modèles.

Cet article explique comment configurer la limitation du débit de jetons et les quotas de jetons.

Conditions préalables

Comprendre la passerelle IA

Lorsque vous utilisez la passerelle IA avec Foundry Control Plane pour assurer une application avancée des politiques pour les modèles, la passerelle s’intercale entre les clients et les déploiements de modèles. Elle effectue tous les flux de requêtes via l’instance Gestion des API associée.

Les limites s’appliquent au niveau du projet. Autrement dit, chaque projet peut avoir ses propres paramètres TPM et de quota.

Diagram du flux logique des requêtes clientes passant par Gestion des API Azure en tant que passerelle IA avant d’atteindre des déploiements de modèles dans un projet.

Utilisez la passerelle IA pour :

  • Confinement des jetons pour plusieurs équipes, afin d’éviter qu’un projet n’accapare l’ensemble de la capacité.
  • Contrôle des coûts en limitant l’utilisation agrégée.
  • Limites de conformité pour les charges de travail réglementées (appliquer des plafonds d’utilisation prévisibles).

Configurer des limites de jetons

Vous pouvez configurer des limites de jetons pour des déploiements de modèles spécifiques au sein de vos projets :

  1. Connectez-vous à Microsoft Foundry. Vérifiez que le commutateur New Foundry est activé. Ces étapes font référence à Foundry (nouveau).

  2. Sélectionnez Gérer>la passerelle IA.

  3. Dans la liste des passerelles IA , sélectionnez la passerelle que vous souhaitez utiliser.

  4. Dans le volet d’informations de la passerelle qui s’affiche, sélectionnez Gestion des jetons.

  5. Sélectionnez + Définir la limite pour créer une nouvelle limite pour un déploiement de modèle.

  6. Sélectionnez le projet et le déploiement que vous souhaitez restreindre, puis entrez une valeur de limite (jeton par minute).

  7. Sélectionnez Créer pour enregistrer vos modifications.

Capture d’écran du volet paramètres du projet montrant les zones d’entrée pour les jetons par minute et les limites totales de quota de jetons.

Comprendre les fenêtres de quota

Les limites de jeton ont deux dimensions d’application complémentaires :

  • Limite du taux TPM : limite la consommation de jetons à un maximum configuré par minute. Lorsque les requêtes dépassent la limite TPM, l’appelant reçoit un code d’état 429 Too Many Requests de réponse.

  • Quota total de jetons : limite la consommation de jetons à un maximum configuré par période de quota (par exemple, horaire, quotidien, hebdomadaire, mensuel ou annuel). Lorsque les requêtes dépassent le quota, l’appelant reçoit un code d’état 403 Forbidden de réponse.

Si vous envoyez plusieurs requêtes simultanément, la consommation de jetons peut dépasser temporairement les limites configurées jusqu’à ce que les réponses soient traitées.

L’ajustement d’un quota ou d’une valeur TPM affecte les décisions d’application suivantes.

Pour plus d’informations, veuillez consulter Passerelle d’AI dans Gestion des API Azure et Limiter l’utilisation des tokens d’API de modèle de langage de grande taille.

Vérifier l’application

  1. Envoyez des demandes de test à un point de terminaison de déploiement de modèle à l’aide de l’URL et de la clé de passerelle du projet.

  2. Augmentez progressivement la fréquence des requêtes jusqu’à ce que les déclencheurs de limite de module de plateforme sécurisée (TPM) se déclenchent.

  3. Suivez les jetons cumulatifs jusqu’à ce que le quota se déclenche.

  4. Vérifiez que :

    • 429 Too Many Requests (réponse limitée par débit) est retournée lorsque les requêtes dépassent la limite TPM.
    • 403 Forbidden (erreur de quota) est retournée lorsque les demandes épuisent le quota.

Ajuster les limites

  1. Revenez aux paramètres de la passerelle AI Gateway du projet.

  2. Modifiez les valeurs de TPM ou de quota.

  3. Enregistrez les modifications. Les nouvelles limites s’appliquent immédiatement aux demandes suivantes.

Dépanner

Problème Cause possible Action
L’instance Gestion des API n’apparaît pas Délai d’approvisionnement Actualisez après quelques minutes.
Les limites ne sont pas appliquées Configuration incorrecte ou projet non lié Rouvrez les paramètres puis vérifiez que le bouton d’application est bien activé. Vérifiez que la passerelle IA est activée pour le projet et que les limites correctes sont configurées.
La latence est élevée après l’activation Démarrage à froid de l'API Management ou non-correspondance de la région Vérifiez la région Gestion des API par rapport à la région de ressource. Appelez le modèle directement et comparez le résultat à l’appel proxié via la passerelle IA pour identifier si les problèmes de performances sont liés à la passerelle.

Si le volet passerelle IA est lent, réessayez après un bref intervalle.

Contenu connexe

  • Last updated on