limity przydziału i limity modeli Microsoft Foundry

Ten artykuł zawiera krótkie informacje i szczegółowy opis przydziałów i limitów dla modeli Foundry sprzedawanych przez Azure. Aby uzyskać informacje o limitach specyficznych dla Azure OpenAI w modelach Foundry, zobacz Quotas i limity w Azure OpenAI.

Zarządzanie limitami na poziomie subskrypcji

Począwszy od Realtime Translate i Realtime Transcribe, a wkrótce także wszystkich modeli, Foundry śledzi limit przydziału dla wdrożeń na poziomie subskrypcji, a nie poszczególnych zasobów lub regionów. Takie podejście zapewnia spójność i przewidywalność sposobu zarządzania limitami przydziału we wdrożeniach, ponieważ wszystkie zasoby i regiony w subskrypcji współużytkują tę samą pulę przydziałów.

Ta zmiana konsoliduje limit przydziału w udostępnione pule:

• Standard globalny: wdrożenia tego samego modelu i tej samej wersji korzystają ze wspólnej puli limitu przydziału we wszystkich regionach w ramach subskrypcji.
• Data Zone Standard: Wdrożenia tego samego modelu i tej samej wersji współdzielą jedną pulę limitu dla każdej strefy danych (na przykład USA lub UE).

Sprawdzanie zakresu zarządzania limitami przydziału

System zarządzania przydziałami, który ma zastosowanie do danego modelu, można znaleźć, przechodząc do strony Limit przydziału portalu Foundry. Wartość w kolumnie Zakres dla danego modelu wskazuje sposób zarządzania limitem przydziału dla tego modelu przez usługę Foundry. Wartość parametru Scope:

• Strefa globalna lub Strefa danych wskazuje zarządzanie limitami przydziału na poziomie subskrypcji.
• Region (na przykład East US lub West US) oznacza, że limity przydziału dla tej subskrypcji i tego modelu są zarządzane oddzielnie dla każdego regionu.

Zmiany dotyczące wdrożonych modeli

W przypadku modeli dołączonych do systemu zarządzania przydziałami na poziomie subskrypcji:

• Wszystkie wdrożenia Global Standard tego samego modelu i wersji w ramach subskrypcji teraz korzystają ze wspólnej puli zasobów we wszystkich regionach.
• Wszystkie wdrożenia w warstwie Standardowa strefy danych tego samego modelu i wersji w ramach subskrypcji są teraz czerpane z udostępnionej puli przydziałów w każdej strefie danych.
• Istniejący zatwierdzony przydział jest zachowywany i automatycznie stosowany na poziomie subskrypcji — nie jest wymagana żadna akcja.

Ta konsolidacja pozwala Microsoft Foundry na spójne oferowanie obsługiwanych modeli we wszystkich regionach usługi Foundry, niezależnie od tego, jak przydział jest dystrybuowany między zasoby lub regiony.

Limity przydziału podczas uaktualniania modelu

Po zaktualizowaniu istniejącego modelu jego nowy limit przydziału Global lub Data Zone jest ustawiany na większą z następujących wartości:

• Obowiązujący limit poziomu.
• Łączny limit przydziału przypisany wszystkim istniejącym wdrożeniom tego modelu w ramach zakresu przydziału.

Jeśli na przykład model ma wdrożenia w warstwie Global Standard w pięciu regionach, nowy globalny limit przydziału jest równy łącznym limitowi przydziału tych wdrożeń, jeśli ta suma przekroczy limit warstwy. W przeciwnym razie obowiązuje limit poziomu.

Odwołanie do przydziałów i limitów

W poniższych sekcjach przedstawiono szybki przewodnik po domyślnych kwotach i limitach, które mają zastosowanie do modeli Foundry. Limity i przydziały nie są egzekwowane na poziomie dzierżawy. Zamiast tego, najwyższy poziom ograniczenia przydziału jest określony na poziomie subskrypcji Azure. Tokeny na minutę (TPM) i żądania na minutę (RPM) są definiowane na region, na subskrypcję oraz na model lub typ wdrożenia.

Limity zasobów (na subskrypcję Azure, na region)

Limity szybkości

W poniższej tabeli wymieniono limity dla modeli odlewniczych dla poniższych stawek:

• Tokeny na minutę
• Żądania na minutę
• Jednoczesne żądanie

Aby zwiększyć limit przydziału, użyj usługi Microsoft Foundry: Żądanie zwiększenia limitu przydziału aby przesłać żądanie. Ze względu na duże zapotrzebowanie żądania zwiększenia limitu przydziału są oceniane indywidualnie. Aby uzyskać więcej informacji na temat wniosków o zwiększenie limitu przydziału, zobacz wnioskowanie o zwiększenie domyślnych limitów.

Inne limity

¹ Bieżące interfejsy API umożliwiają obsługę do 10 nagłówków niestandardowych, które potok przetwarza i zwraca. Jeśli przekroczysz tę liczbę nagłówków, żądanie spowoduje błąd HTTP 431. Aby rozwiązać ten błąd, zmniejsz wolumin nagłówka. Przyszłe wersje interfejsu API nie będą przekazywać nagłówków niestandardowych. Nie polegaj na niestandardowych nagłówkach w przyszłych architekturach systemu.

Warstwy użycia

Wdrożenia w ramach globalnego standardu korzystają z globalnej infrastruktury Azure do dynamicznego kierowania ruchu użytkowników do centrum danych oferującego najlepszą dostępność dla żądań inferencyjnych klienta. Ta infrastruktura umożliwia bardziej spójne opóźnienie dla klientów o niskim lub średnim poziomie ruchu. Klienci z wysokim trwałym poziomem użycia mogą zauważyć większą zmienność w poziomie latencji odpowiedzi.

Limit użycia określa poziom użycia, poza którym klienci mogą zobaczyć większą zmienność opóźnienia odpowiedzi. Użycie klienta jest określone dla każdego modelu i stanowi łączną liczbę tokenów zużywanych we wszystkich wdrożeniach we wszystkich subskrypcjach we wszystkich regionach dla danej jednostki.

Żądanie zwiększa się do domyślnych limitów

Prześlij formularz wniosku o zwiększenie limitu przydziału, aby poprosić o zwiększenie limitu przydziału dla modeli Foundry sprzedawanych przez platformę Azure, modeli Azure OpenAI i modeli Anthropic. Z wyjątkiem modeli Anthropic modeli od partnerów i społeczności nie obsługują zwiększenia limitu przydziału.

Żądania zwiększenia limitu przydziału są przetwarzane w kolejności, w której są odbierane, a priorytet jest kierowany do klientów, którzy aktywnie korzystają z istniejącej alokacji przydziału. Żądania, które nie spełniają tego warunku, mogą zostać odrzucone.

Ogólne najlepsze praktyki dotyczące pozostawania w granicach limitów przepustowości

Aby zminimalizować problemy związane z limitami szybkości, użyj następujących technik:

• Zaimplementuj logikę ponawiania prób w aplikacji.
• Unikaj gwałtownych zmian w obciążeniu. Stopniowo zwiększaj obciążenie.
• Przetestuj różne wzorce zwiększania obciążenia.
• Zwiększ przydział przypisany do wdrożenia. W razie potrzeby przenieś przydział z innego wdrożenia.

Ustawianie limitu czasu po stronie klienta

Ustaw jawnie limit czasu po stronie klienta na podstawie poniższych wskazówek.

• Modele rozumowania (modele, które generują tokeny rozumowania pośredniego przed utworzeniem podsumowanej odpowiedzi): do 29 minut.
• Modele niezwiązane z rozumowaniem:
  • W przypadku przesyłania strumieniowego do 60 sekund.
  • W przypadku żądań, które nie są przesyłane strumieniowo, czas może wynosić do 29 minut.

29 minut w tym miejscu nie oznacza, że wszystkie żądania zajmują 29 minut, ale raczej w zależności od tokenów kontekstowych, wygenerowanych tokenów i współczynników trafień pamięci podręcznej żądania mogą potrwać do 29 minut.

Ustaw limit czasu krótszy niż te wartości, dostosowany do wzorców ruchu.

W przypadku modeli rozumowania, w tym żądań przesyłania strumieniowego, wszystkie tokeny rozumowania są najpierw generowane, a następnie podsumowane przed wysłaniem pierwszego tokenu odpowiedzi z powrotem do użytkownika.

Możesz zmodyfikować parametr nakładu pracy rozumowania , aby kontrolować liczbę tokenów rozumowania wygenerowanych w procesie.

Rozwiązywanie problemów

Powiązana zawartość

• Modele dostępne w Foundry Models
• Zarządzanie limitami przydziału zasobów usługi Foundry i zwiększanie ich
• Limity i ograniczenia w Azure OpenAI