Limites de débit LLM : jetons par minute, requêtes par minute et ce qui se passe lorsque vous les atteignez ou les dépassez

Les API de modèle de langage limitent votre trafic de 2 façons à la fois : nombre de demandes que vous envoyez par minute (RPM) et combien de jetons vous utilisez par minute (TPM). Vous pouvez rester largement en dessous de votre limite de requêtes tout en subissant une limitation de débit, car quelques prompts longs peuvent suffire à épuiser votre budget de jetons. Lorsque vous atteignez l’une ou l’autre limite, l’API répond avec 429 Too Many Requests et votre application doit attendre.

Comment OpenAI, Azure OpenAI et Anthropic effectuent le comptage

Si vous définissez max_tokens sur 4 000 et recevez 200 jetons en retour, OpenAI et Azure OpenAI comptabilisent tout de même les 4 000 jetons dans votre limite. C’est ainsi que vous pouvez obtenir 429 si vos métriques d’utilisation sont bien inférieures à votre quota.

Ce que signifie un 429 pour chaque fournisseur

Les erreurs 429 ne disparaissent pas toutes après un simple délai d’attente.

Comment gérer les limites de débit LLM

1. Vérifiez quel 429 vous avez obtenu. Les erreurs de facturation, de coûts et de quota ont besoin d’une personne, et non d’une nouvelle tentative.
2. Attendez aussi longtemps que l’API le demande. OpenAI et Anthropic indiquent retry-after en secondes. Azure OpenAI envoie retry-after-ms en millisecondes. En l’absence d’indication, appliquez un délai d’attente exponentiel avec une temporisation aléatoire et limitez à la fois le nombre de tentatives et la durée totale des nouvelles tentatives.
3. Sachez ce que fait déjà votre Kit de développement logiciel (SDK). Les SDK Python OpenAI et Anthropic réessaient en cas d’erreurs de connexion et de réponses 408, 409, 429 et 5xx, 2 fois par défaut. Si vous ajoutez votre propre boucle de nouvelle tentative, désactivez les nouvelles tentatives du Kit de développement logiciel (SDK), par exemple avec max_retries=0 dans Python, comme le recommande Azure OpenAI, ou les tentatives se multiplient.
4. Réduisez ce qui compte. Sur OpenAI et Azure OpenAI, définissez max_tokens sur une valeur proche de la taille de réponse attendue. Sur Anthropic, cachez du contenu répété comme les instructions système.
5. Augmentez progressivement. Une forte hausse du trafic peut déclencher le mécanisme slow_down d’OpenAI et les limites d’accélération d’Anthropic, même si vous respectez les limites qui vous sont imposées. OpenAI recommande, lorsque vous atteignez un million de jetons d’entrée par minute, d’augmenter votre utilisation de 50 % au maximum toutes les 15 minutes.
6. Ne relancez pas un flux de données que vous avez déjà consommé. Une erreur après le démarrage d’un flux peut arriver en tant qu’événement de flux, et OpenAI déconseille de relancer automatiquement une requête après avoir consommé la sortie.
7. Indiquez à l’utilisateur quand une demande se bloque sur un 429, au lieu d’afficher un spinner.

Comment tester que votre application gère les limites de débit LLM

Essayez-le sur votre application

Dev Proxy intercepte les requêtes de votre application à l’API du modèle de langage et retourne les propres erreurs du fournisseur, tandis que votre application continue d’appeler l’URL réelle. Pour OpenAI, téléchargez la configuration prédéfinie, puis démarrez Dev Proxy en l’utilisant :

devproxy config get openai-throttling
devproxy --config-file "~dataFolder/configs/openai-throttling/.devproxy/devproxyrc.json"

La configuration prédéfinie openai-throttling fait échouer 90 % des requêtes vers https://api.openai.com/* en renvoyant une erreur aléatoire parmi les suivantes : rate_limit_exceeded pour les limites TPM ou RPM, slow_down, credit_balance_exhausted ou 503 server_is_overloaded. La configuration prédéfinie anthropic-throttling applique le même comportement à https://api.anthropic.com/*, avec des erreurs 429 liées aux limites RPM, aux jetons d’entrée, aux jetons de sortie et à l’accélération, ainsi que des erreurs 529 overloaded_error. Les deux préréglages incluent le RetryAfterPlugin, qui vous indique quand votre application appelle à nouveau l’API avant que le délai retry-after n’expire sur un code 429, 503 ou 529.

Pour appliquer une limitation en fonction du nombre réel de jetons utilisés par votre application, utilisez le composant LanguageModelRateLimitingPlugin. Il compte les jetons d’invite et de complétion que chaque réponse signale et retourne 429 avec retry-after lorsque votre application dépasse les limites que vous avez définies. Il fonctionne avec les API compatibles OpenAI, notamment Azure OpenAI et les modèles locaux :

{
  "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v4.0.0/rc.schema.json",
  "plugins": [
    {
      "name": "LanguageModelRateLimitingPlugin",
      "enabled": true,
      "pluginPath": "~appFolder/plugins/DevProxy.Plugins.dll",
      "configSection": "languageModelRateLimitingPlugin"
    }
  ],
  "urlsToWatch": [
    "https://api.openai.com/*",
    "https://*.openai.azure.com/openai/deployments/*/chat/completions*"
  ],
  "languageModelRateLimitingPlugin": {
    "$schema": "https://raw.githubusercontent.com/dotnet/dev-proxy/main/schemas/v4.0.0/languagemodelratelimitingplugin.schema.json",
    "promptTokenLimit": 1000,
    "completionTokenLimit": 500,
    "resetTimeWindowSeconds": 60
  }
}

Le plug-in ne reproduit pas l’estimation max_tokens . Le corps de réponse 429 par défaut est l’erreur d’OpenAI rate_limit_exceeded pour les jetons par minute. Pour renvoyer le corps d'erreur d'un autre fournisseur, comme celui d'Azure OpenAI, définissez whenLimitExceeded sur Custom et pointez customResponseFile sur votre propre réponse. Pour installer Dev Proxy, consultez Configurer Dev Proxy.

Étapes suivantes

Voir aussi

• 429 Too Many Requests : signification et gestion de cette erreur
• Qu’est-ce que la limitation du taux ?
• Limites des jetons de modèle de langage de test
• LanguageModelRateLimitingPlugin
• Comment tester ce que fait votre agent IA quand ses outils échouent