quota en limieten voor foundry-modellen Microsoft

Dit artikel bevat een beknopt overzicht en een gedetailleerde beschrijving van de quota en limieten voor Foundry Models verkocht door Azure. Zie Quota en limieten in Azure OpenAI voor quota en limieten die specifiek zijn voor de Azure OpenAI in Foundry Models.

Quotabeheer op abonnementsniveau

Vanaf Realtime Vertalen en Realtime Transcriberen, en binnenkort alle modellen, houdt Foundry het quotum voor implementaties bij op abonnementsniveau in plaats van per resource of per regio. Deze aanpak brengt consistentie en voorspelbaarheid met zich mee hoe het quotum wordt beheerd in implementaties, omdat alle resources en regio's in een abonnement dezelfde quotumgroep delen.

Met deze wijziging wordt het quotum samengevoegd tot gedeelde pools:

• Globale standaard: implementaties van hetzelfde model en dezelfde versie delen één quotumgroep in alle regio's in een abonnement.
• Data Zone Standard: implementaties van hetzelfde model en dezelfde versie delen één quotumgroep per gegevenszone (bijvoorbeeld VS of EU).

Quotumbeheerbereik controleren

U vindt het quotabeheersysteem dat van toepassing is op een bepaald model door naar de pagina Quota van de Foundry-portal te gaan. De waarde in de kolom Bereik voor een bepaald model geeft aan hoe Foundry het quotum voor dat model beheert. Een bereikwaarde van:

• Globaal of gegevenszone, duidt quotumbeheer op abonnementsniveau aan.
• Een regio (bijvoorbeeld VS - oost of VS - west), geeft quotumbeheer per regio aan voor dat abonnement en model.

Wijzigingen voor onboarded modellen

Voor de modellen die worden toegevoegd aan het quotabeheersysteem op abonnementsniveau:

• Alle Global Standard-implementaties van hetzelfde model en dezelfde versie onder een abonnement maken nu gebruik van één gedeelde quotumgroep in alle regio's.
• Alle standaardimplementaties voor gegevenszones van hetzelfde model en dezelfde versie onder een abonnement zijn nu afkomstig van een gedeelde quotumgroep binnen elke gegevenszone.
• Het bestaande goedgekeurde quotum wordt bewaard en wordt automatisch toegepast op abonnementsniveau. Er is geen actie vereist.

Dankzij deze samenvoeging kan Microsoft Foundry ondersteunde modellen consistent aanbieden in alle Foundry-regio's, ongeacht hoe het quotum wordt verdeeld over resources of regio's.

Quotumlimieten wanneer een model wordt bijgewerkt

Wanneer een bestaand model wordt geüpgraded, wordt de nieuwe quotumlimiet voor de Global Zone of Data Zone ingesteld op de hoogste van:

• De toepasselijke niveaulimiet.
• Het totale quotum dat is toegewezen aan alle bestaande implementaties van dat model binnen het quotumbereik.

Als een model bijvoorbeeld Global Standard-implementaties heeft in vijf regio's, is de nieuwe globale quotumlimiet gelijk aan het gecombineerde quotum van deze implementaties als dat totaal de laaglimiet overschrijdt. Anders geldt de tierlimiet.

Referentie voor quota en limieten

In de volgende secties vindt u een beknopt overzicht van de standaardquota en limieten die van toepassing zijn op Foundry-modellen. Quota en limieten worden niet afgedwongen op tenantniveau. In plaats daarvan wordt het hoogste niveau van quotumbeperkingen ingesteld op het niveau van het Azure abonnement. Tokens per minuut (TPM) en aanvragen per minuut (RPM) worden gedefinieerd per regio, per abonnement en per model of implementatietype.

Resourcelimieten (per Azure abonnement, per regio)

Frequentielimieten

De volgende tabel bevat limieten voor Foundry Models voor de volgende tarieven:

• Tokens per minuut
• Aanvragen per minuut
• Gelijktijdige aanvraag

Als u uw quotum wilt verhogen, gebruikt u Microsoft Foundry Service: Aanvraag voor quotumverhoging om uw aanvraag in te dienen. Vanwege een hoge vraag worden aanvragen om het quotum te verhogen afzonderlijk geëvalueerd. Zie aanvraagverhogingen tot de standaardlimieten voor meer informatie over aanvragen voor quotumverhoging.

Andere limieten

¹ Huidige API's staan maximaal 10 aangepaste headers toe, die door de pijplijn worden verwerkt en geretourneerd. Als u het aantal headers overschrijdt, resulteert uw aanvraag in een HTTP 431-fout. Verminder het headervolume om deze fout op te lossen. Toekomstige API-versies passeren geen aangepaste headers. Wees niet afhankelijk van aangepaste headers in toekomstige systeemarchitecturen.

Gebruikslagen

Global Standard-implementaties maken gebruik van de wereldwijde infrastructuur van Azure om het klantverkeer dynamisch naar het datacenter met de beste beschikbaarheid voor de inferenceverzoeken van de klant te routeren. Deze infrastructuur maakt consistentere latentie mogelijk voor klanten met een laag tot gemiddeld verkeersniveau. Klanten met een hoog blijvend gebruiksniveau zien mogelijk meer variabiliteiten in reactielatentie.

De gebruikslimiet bepaalt het gebruiksniveau waarop klanten grotere variabiliteit in reactielatentie kunnen zien. Het gebruik van een klant wordt per model gedefinieerd en is het totale aantal tokens dat wordt gebruikt voor alle implementaties in alle abonnementen in alle regio's voor een bepaalde tenant.

Verzoek om de standaardlimieten te verhogen

Dien het quotaverhogingsformulier in om quotumverhogingen aan te vragen voor Foundry Models die worden verkocht door Azure, Azure OpenAI-modellen en Anthropic modellen. Met uitzondering van Anthropic modellen bieden Models van partners en community geen ondersteuning voor quotumverhogingen.

Aanvragen voor quotumverhoging worden verwerkt in de volgorde waarin ze worden ontvangen en prioriteit gaat naar klanten die hun bestaande quotumtoewijzing actief gebruiken. Aanvragen die niet aan deze voorwaarde voldoen, kunnen worden geweigerd.

Algemene aanbevolen procedures om binnen frequentielimieten te blijven

Gebruik de volgende technieken om problemen met betrekking tot frequentielimieten te minimaliseren:

• Implementeer logica voor opnieuw proberen in uw toepassing.
• Vermijd scherpe wijzigingen in de workload. Verhoog de workload geleidelijk.
• Test verschillende patronen voor belastingverhoging.
• Verhoog het quotum dat is toegewezen aan uw implementatie. Quota verplaatsen van een andere uitrol, indien nodig.

Time-out aan clientzijde instellen

Stel de time-out aan de clientzijde expliciet in op basis van de volgende richtlijnen.

• Redeneringsmodellen (modellen die tussenliggende redeneringstokens genereren voordat een samengevat antwoord wordt gegenereerd): maximaal 29 minuten.
• Niet-redenerende modellen:
  • Voor streaming is het maximaal 60 seconden.
  • Voor niet-streaming-aanvragen duurt het maximaal 29 minuten.

29 minuten hier betekent niet dat alle aanvragen 29 minuten duren, maar dat het maximaal 29 minuten kan duren, afhankelijk van contexttokens, gegenereerde tokens en cachetrefferpercentages.

Stel een time-out in die kleiner is dan deze waarden, afgestemd op uw verkeerspatronen.

Voor redeneringsmodellen, inclusief streamingaanvragen, worden eerst alle redeneringstokens gegenereerd en vervolgens samengevat voordat het eerste antwoordtoken naar de gebruiker wordt verzonden.

U kunt de parameter voor de redeneringsinspanning wijzigen om het aantal redeneringstokens te bepalen dat in het proces is gegenereerd.

Probleemoplossing

Verwante inhoud

• Modellen die beschikbaar zijn in Foundry Models
• Quota voor Foundry-resources beheren en verhogen
• Quota en limieten in Azure OpenAI