Durchsetzung von Tokengrenzen für Modelle

In diesem Artikel wird erläutert, wie Sie vorhandene Einstellungen für tokenlimits in Microsoft Foundry anzeigen und die zugrunde liegende Azure API Management-Richtlinie aktualisieren. Dieser Workflow gilt, wenn Azure API Management als KI-Gateway für Ihren Modelldatenverkehr dient. Sie gilt nicht für die eigenständige neue KI-Gatewayressource, die eine separate Verwaltungsoberfläche aufweist.

Important

Vorhandene Tokenverwaltungseinstellungen bleiben in Foundry schreibgeschützt sichtbar. Sie können diese Einstellungen in Foundry nicht mehr erstellen, bearbeiten oder löschen. Nehmen Sie zukünftige Änderungen vor, indem Sie im Azure-Portal API-Verwaltungsrichtlinien-XML bearbeiten oder den codebasierten BEREITSTELLUNGsprozess der API-Verwaltung Ihrer Organisation verwenden.

Vorhandene API-Verwaltungsinstanzen, Routen, Richtlinien und Gatewaydatenverkehr funktionieren weiterhin, und Sie müssen nicht zum KI-Gateway migrieren. Nur die Verwaltung von Tokengrenzeinstellungen wurde aus Foundry verschoben.

Voraussetzungen

  • Ein Azure Konto mit einem aktiven Abonnement. Wenn Sie kein Konto haben, erstellen Sie ein free Azure Konto, das ein kostenloses Testabonnement enthält.

  • Eine Modellroute, die Anforderungen über eine Azure API Management-Instanz sendet.

  • Zugriff auf die API Management-Instanz und die Berechtigung zum Bearbeiten der Richtlinie in dem Bereich, in dem der Tokengrenzwert gilt.

Verstehen der Tokenlimit-Erzwingung

Azure API Management kann als KI-Gateway zwischen Clients und Modellbereitstellungen dienen. Die llm-token-limit eingehende Richtlinie beschränkt den Eingabeaufforderungs- und Abschlusstokenverbrauch für jede konfigurierte counter-key. Sie können eine Tokenrate, ein Kontingent oder beides konfigurieren. Die Richtlinie ist nicht inhärent auf ein Foundry-Projekt beschränkt.

Diagramm mit Clientanforderungen, die über Azure API Management als KI-Gateway weitergeleitet werden, bevor Modellbereitstellungen in einem Foundry-Projekt erreicht werden.

Die API-Verwaltung unterstützt die Richtlinie auf globaler, Arbeitsbereichs-, Produkt-, API- und Vorgangsebene. Suchen und bearbeiten Sie die vorhandene Richtlinie in dem Gültigkeitsbereich, auf den sie angewendet wurde. Verschieben Sie sie nicht in einen anderen Geltungsbereich, ohne den Effekt zu überprüfen. Richtlinien, die dieselbe counter-key verwenden, teilen sich denselben Tokenzähler über Bereichsgrenzen hinweg.

Anzeigen vorhandener Einstellungen in Foundry

Verwenden Sie die vorhandene Tokenverwaltungsansicht in Foundry, um zuvor konfigurierte Einstellungen zu überprüfen. Diese Einstellungen sind schreibgeschützt. Zum Erstellen, Bearbeiten oder Löschen eines Tokenlimits arbeiten Sie stattdessen mit der API-Verwaltungsrichtlinien-XML.

Bearbeiten von Tokenbeschränkungen in Azure API Management

  1. Öffnen Sie im Azure-Portal die API-Verwaltungsinstanz, die den Datenverkehr zum Modell weiterleitet.
  2. Suchen Sie die vorhandene Richtlinie im Bereich, in dem sie gilt.
  3. Öffnen Sie den Richtliniencode-Editor.
  4. Suchen Sie im inbound Abschnitt das llm-token-limit Richtlinienelement.
  5. Überprüfen Sie das beabsichtigte Verhalten bei gemeinsamer Zählernutzung des counter-key und bewahren Sie es.
  6. Aktualisieren Sie tokens-per-minute für die Ratenbegrenzung, token-quota mit token-quota-period für die Kontingentbegrenzung oder beide Attributsätze.
  7. Überprüfen Sie die erforderliche estimate-prompt-tokens Einstellung.
  8. Wählen Sie Speichern.

Ausführliche Richtliniensyntax und -attribute finden Sie unter Einschränken der API-Tokenverwendung für große Sprachmodelle. Weitere Informationen zum Suchen und Bearbeiten einer Richtlinie im angewendeten Bereich finden Sie unter Festlegen oder Bearbeiten von Azure API Management Richtlinien.

Alternativ können Sie die gleiche Richtlinienänderung über den vorhandenen codebasierten API-Verwaltungsbereitstellungsprozess Ihrer Organisation vornehmen.

Die counter-key Attribute und estimate-prompt-tokens Attribute sind erforderlich. Konfigurieren Sie eine der folgenden Kombinationen:

  • tokens-per-minute
  • token-quota und token-quota-period
  • Rate- und Kontingentattribute zusammen

Unterstützte Kontingentperioden sind Hourly, Daily, Weekly, Monthly und Yearly.

Raten- und Kontingentverhalten verstehen

  • Eine Tokenrate begrenzt den Verbrauch von Prompt- und Completion-Token pro Minute für die konfigurierte counter-key. Anfragen, die die Rate überschreiten, erhalten 429 Too Many Requests.
  • Ein Tokenkontingent begrenzt den Verbrauch von Prompt- und Completion-Token während eines festen Kontingentfensters. Anforderungen, die das Kontingent überschreiten, erhalten 403 Forbidden.
  • Stündliche, tägliche, wöchentliche, monatliche und jährliche Kontingentfenster beginnen zu Zeiten, die in Koordinierter Weltzeit (UTC) berechnet werden.

Gleichzeitige Anfragen können vorübergehend eine Rate oder ein Kontingent überschreiten, da die genaue Tokenverwendung möglicherweise erst bekannt ist, wenn Antworten zurückgegeben werden. Nach der Aktualisierung der Zähler blockiert die API-Verwaltung nachfolgende Anforderungen, die den konfigurierten Grenzwert überschreiten.

Wenn estimate-prompt-tokens auf false festgelegt ist, kann eine Eingabe, die das Limit überschreitet, das Back-End erreichen, bevor die Antwortverwendung den Zähler aktualisiert. Wenn die Einstellung true lautet, schätzt API Management Eingabeaufforderungstoken, bevor die Anforderung weitergeleitet wird. Bei Streaminganforderungen schätzt API Management Prompttoken.

Überprüfung der Durchsetzung

Verwenden Sie kontrollierte Einstellungen und Nicht-Produktivverkehr für die Überprüfung. Schöpfen Sie ein Produktionskontingent nicht aus.

  1. Senden Sie Testanforderungen über den Gateway-Endpunkt für API Management, nicht direkt an den Modellendpunkt.
  2. Verwenden Sie eine kontrollierte Ratenbegrenzung, um zu überprüfen, dass für Anfragen, die die konfigurierte Tokenrate überschreiten, 429 Too Many Requests zurückgegeben wird.
  3. Wenn Sie auch ein Kontingent überprüfen müssen, verwenden Sie ein kontrolliertes Nichtproduktionskontingent und bestätigen Sie, dass Anfragen, die dieses überschreiten, 403 Forbidden erhalten.
  4. Überprüfen Sie die Protokolle oder das Tracing in API Management, um zu bestätigen, dass Anfragen das Gateway erreicht haben und die vorgesehene Richtlinie ausgeführt wurde.

Troubleshoot

Das Problem Was soll überprüft werden?
Der Grenzwert hat keine Auswirkung. Vergewissern Sie sich, dass die Anwendung den API-Verwaltungsgatewayendpunkt verwendet. Aufrufe des direkten Modellendpunkts umgehen die API-Verwaltungsrichtlinie.
Nicht verwandter Datenverkehr scheint denselben Grenzwert zu verbrauchen. counter-keyWerte prüfen. Derselbe Schlüssel teilt einen Zähler über Richtlinienbereiche hinweg.
Gleichzeitige Anfragen überschreiten vorübergehend den Grenzwert. Die genaue Verwendung ist möglicherweise erst nach der Rückgabe der Antworten verfügbar. Überprüfen Sie nachfolgende Anfragen nach der Aktualisierung der Zähler.
Ein Kontingent wird zu einem unerwarteten Zeitpunkt zurückgesetzt. Kontingentfenster verwenden feste Zeiträume mit in UTC berechneten Startzeiten.
Tokeneinstellungen können in Foundry nicht geändert werden. Vorhandene Einstellungen sind schreibgeschützt in Foundry. Bearbeiten Sie den XML-Code der API-Verwaltungsrichtlinie im Azure-Portal, oder verwenden Sie den codebasierten Richtlinienbereitstellungsprozess Ihrer Organisation.