Co to jest zarezerwowana przepustowość dla modeli Foundry?

Aktualnie wyświetlane:Nowa wersja - portalu FoundryPrzełączanie do wersji klasycznego portalu Foundry

Przepustowość aprowizowana to typ wdrożenia w Microsoft Foundry, który zapewnia dedykowaną przepustowość przetwarzania modelu dla tego wdrożenia. W przeciwieństwie do wdrożeń standardowych, w których moc obliczeniowa na potrzeby inferencji jest współdzielona między klientów, a przepustowość może się zmieniać w zależności od zapotrzebowania, wdrożenie z przydzieloną przepustowością zapewnia stałą, z góry przydzieloną moc obliczeniową wyłącznie do użytku tego wdrożenia, niezależnie od tego, czy żądania są wysyłane.

W tym artykule przedstawiono podstawowe pojęcia związane z aprowizowaną przepływnością: co to jest, kiedy go używać, jak pojemność jest mierzona i rozliczana oraz co należy wiedzieć o limitach przydziału i pojemności przed wdrożeniem.

Porównanie kategorii wdrożeń

Wdrożenia standardowe, wdrożenia wsadowe, przetwarzanie priorytetowe i aprowizowana przepływność to sposoby wdrażania modeli w usłudze Microsoft Foundry. Właściwy wybór zależy od wymagań dotyczących opóźnień, wzorców ruchu i tolerancji kosztów.

Kiedy należy używać aprowizowanej przepływności

Przepustowość aprowizowana jest właściwym wyborem, jeśli Twoja aplikacja wymaga:

• Przewidywalne wzorce ruchu: istnieje uzasadnione oszacowanie żądań na minutę i woluminy tokenów.
• Wymagania wrażliwe na opóźnienia: Użytkownicy lub systemy podrzędne potrzebują spójnych odpowiedzi o małych opóźnieniach.
• Skala produkcyjna: zastosowania o wysokiej przepustowości, w których rozliczanie za token staje się kosztowne.
• Scenariusze czasu rzeczywistego lub interaktywne: aplikacje do czatu, copiloty lub agenci, w których zmienny czas odpowiedzi pogarsza komfort użytkowania.

Wdrożenia standardowe pozostają lepsze w przypadku programowania, testowania, niskiego użycia lub bardzo zmiennego ruchu, który utrudnia wcześniejsze zwiększenie rozmiaru wdrożenia.

Przydzielone jednostki przepustowości

Jednostki aprowizowanej przepływności (PTUs) są jednostką miary aprowizowanej przepływności. PtU reprezentuje stałą ilość pojemności przetwarzania modelu. Podczas tworzenia wdrożenia z przydzieloną przepustowością określasz, ile jednostek PTU przydzielić. Usługa Foundry rezerwuje tę ilość zasobów obliczeniowych i przechowuje ją na potrzeby wdrożenia.

Kluczowe cechy jednostek PTU:

• Niezależny od modelu: ten sam limit przydziału jednostek PTU może służyć do wdrażania dowolnego obsługiwanego modelu. Nie kupujesz jednostek PTU dla określonego modelu.
• Specyficzne dla regionu: limit przydziału jednostek PTU jest przyznawany dla subskrypcji, na region i na typ wdrożenia. Limit przydziału we wschodnich stanach USA nie jest przenoszony do Europy Zachodniej.
• Przepływność różni się w zależności od modelu: tokeny na minutę (TPM), które dostarcza dana liczba jednostek PTU, zależy od modelu. Cięższy model wymaga większej liczby jednostek PTU, aby obsłużyć ten sam poziom TPM co model lżejszy. Informacje o stosunkach PTU do TPM dla poszczególnych modeli można znaleźć w sekcji Parametry przepływności dla poszczególnych modeli.
• Mają zastosowanie minimalne rozmiary wdrożeń: każdy model ma minimalną liczbę jednostek PTU wymaganą do utworzenia wdrożenia. Minimum różnią się w zależności od modelu i są wymienione w temacie Parametry wdrożenia i wartości przepływności według modelu.

Limit przydziału i pojemność

Limit PTU i przepustowość to powiązane, ale odrębne pojęcia, które wpływają na to, czy można utworzyć wdrożenie. W tej sekcji wyjaśniono, czym jest każdy z nich, jak zażądać dodatkowego limitu przydziału oraz jak sprawdzić, czy pojemność jest dostępna w Twoim regionie.

Co to jest limit PTU?

Limit przydziału jednostek PTU jest maksymalną liczbą jednostek PTU, które można wdrożyć na subskrypcję, na region i na typ wdrożenia. Przydział to limit zasad narzucany przez platformę Azure i nie wiąże się z żadnymi kosztami. Limit jest określany na poziomie oferty (Global Provisioned, Data Zone Provisioned i Regional Provisioned stanowią odrębne pule limitów) oraz na poziomie regionu (na przykład limit w regionie East US nie ma zastosowania do regionu West Europe).

Domyślna kwota przydziału jest przypisywana do kwalifikujących się subskrypcji w kilku regionach.

Co to jest pojemność?

Przepustowość to rzeczywista liczba jednostek PTU dla każdej wersji modelu, którą można wdrożyć. Zasoby są przydzielane podczas wdrażania i utrzymywane przez cały okres istnienia wdrożenia.

Ponieważ przepustowość jest ograniczonym zasobem, który zmienia się dynamicznie:

• Dostępność pojemności zmienia się w ciągu dnia na podstawie zapotrzebowania klientów we wszystkich regionach i modelach.
• Usunięcie wdrożenia lub zmniejszenie jego skali zwalnia jego przydzieloną pojemność z powrotem do puli zasobów regionu. Nie ma gwarancji, że te same zasoby będą dostępne, jeśli później ponownie utworzysz wdrożenie lub zwiększysz jego skalę.

Jak uzyskać limit przydziału

Domyślna ilość globalnego, strefy danych i regionalnego przydziału jest przypisywana uprawnionym subskrypcjom w kilku regionach. Możesz zażądać większego limitu przydziału lub pojemności, przesyłając formularz żądania przydziału. Formularz jest również dostępny w portalu Foundry na stronie Limit przydziału .

Zatwierdzenie może potrwać kilka dni na podstawie dostępności limitu przydziału i otrzymasz powiadomienie e-mail po zatwierdzeniu żądania.

Jak sprawdzić dostępną pojemność

Aby sprawdzić dostępność pojemności w czasie rzeczywistym:

• Użyj środowiska wdrażania portalu Foundry, które informuje, czy pojemność jest dostępna podczas próby utworzenia wdrożenia i wyświetla listę alternatywnych regionów z dostępną pojemnością, jeśli region docelowy nie ma wystarczającej ilości.
• Użyj interfejsu API pojemności modelu , aby programowo wykonywać zapytania dotyczące maksymalnej liczby jednostek PTU, które można wdrożyć dla danego modelu i regionu.

Jeśli region docelowy nie ma dostępnej pojemności:

• Prześlij formularz żądania przydziału , aby zażądać większego limitu przydziału lub pojemności.
• Spróbuj wdrożyć przy użyciu mniejszej liczby jednostek PTU.
• Spróbuj ponownie później, ponieważ dostępność pojemności zmienia się dynamicznie przez cały dzień.

Aby uzyskać szczegółowe wskazówki dotyczące tworzenia wdrożeń aprowizowanych i obsługi ograniczeń pojemności, zobacz Wprowadzenie do aprowizowania wdrożeń.

Ustalanie rozmiaru jednostek PTU

Przed utworzeniem aprowizowanego wdrożenia oszacuj, ile jednostek PTU wymaga Twoje obciążenie robocze. Trzy czynniki napędzają obliczenie:

• Kształt żądania: oczekiwane żądania na minutę (RPM), średni rozmiar monitu (tokeny wejściowe) i średni rozmiar odpowiedzi (tokeny wyjściowe).
• Współczynnik danych wyjściowych do danych wejściowych: tokeny wyjściowe wymagają większej pojemności przetwarzania niż tokeny wejściowe. Każdy model ma stosunek, który wyraża liczbę tokenów wejściowych, do których jeden token wyjściowy jest równoważny dla celów pojemności. W przypadku modeli GPT-4.1 i nowszych Azure OpenAI stosunek ten zazwyczaj pasuje do stosunku cen globalnego standardu modelu z wyjątkami specyficznymi dla modelu. Aby uzyskać więcej informacji, zobacz Parametry wdrożenia i wartości przepływności według modelu .
• Wskaźnik pamięci podręcznej: odsetek tokenów wejściowych obsługiwanych przez pamięć podręczną promptów. W przypadku modeli sprzed GPT-6 Astra buforowane tokeny wejściowe nie zużywają pojemności PTU; wyższy współczynnik trafień pamięci podręcznej zmniejsza wymaganą liczbę jednostek PTU. W przypadku nowszych modeli, takich jak GPT-6 Astra, należy uwzględnić odczyty i zapisy pamięci podręcznej podczas szacowania pojemności. Aby uzyskać więcej informacji, zobacz Znormalizowane ceny tokenów dla GPT-6 Astra.

W obliczeniach dotyczących doboru rozmiaru używa się tych czynników do przeliczenia przewidywanych wolumenów tokenów na pojedynczą znormalizowaną wartość TPM, a następnie dzieli się ją przez wartość wejściowego TPM na PTU dla modelu, aby wyliczyć wymaganą liczbę jednostek PTU.

Rozmiar można ręcznie określić przy użyciu formuł i wartości dla modelu lub użyć kalkulatora pojemności w portalu Foundry w celu oszacowania z przewodnikiem.

Aby zapoznać się z pełną metodologią doboru rozmiaru, w tym z formułami, przykładami obliczeń i informacjami referencyjnymi dotyczącymi kalkulatora pojemności, zobacz Określanie rozmiaru PTU dla obciążenia.

Typy wdrażania aprowizowanej przepustowości

Przepustowość aprowizowana jest dostępna w trzech typach wdrożenia. Wszystkie zapewniają dedykowaną pojemność i przewidywalne opóźnienie po wdrożeniu. Różnica polega na tym, gdzie przetwarzany jest ruch związany z wnioskowaniem:

Aby uzyskać pełne porównanie wszystkich typów wdrożeń rozwiązania Foundry, w tym standardowych, wsadowych i aprowizowanych, zobacz Typy wdrażania dla modeli Microsoft Foundry.

Obsługiwane modele

Aby uzyskać pełną listę modeli Foundry obsługujących aprowizowaną przepustowość, w tym informacje o typach wdrożeń obsługiwanych przez każdy model oraz o dostępności regionalnej, zobacz Dostępność regionalna modeli Foundry sprzedawanych bezpośrednio przez platformę Azure.

Efekt przenikania

Spillover to opcjonalna konfiguracja służąca do zarządzania wahaniami ruchu we wdrożeniach z przydzieloną przepustowością przez automatyczne kierowanie nadmiarowych żądań do odpowiadającego im wdrożenia standardowego w tym samym zasobie Foundry. Gdy wdrożenie z przydzieloną przepustowością jest w pełni wykorzystane i zwraca odpowiedzi z kodem innym niż 200 (na przykład 429, gdy jednostki PTU zostaną wyczerpane), mechanizm przekierowania nadmiarowego ruchu kieruje te żądania do standardowego wdrożenia, pomagając ograniczyć zakłócenia podczas skoków ruchu.

Wszystkie modele Azure OpenAI w Foundry, które obsługują aprowizowaną przepustowość, obsługują także mechanizm spillover. Modele Foundry od innych dostawców (Azure DeepSeek, Meta Llama) obecnie nie obsługują spillover.

Spillover można skonfigurować dla wszystkich żądań w ramach wdrożenia lub sterować nim osobno dla każdego żądania za pomocą nagłówka żądania x-ms-spillover-deployment. Informacje na temat kroków konfiguracji znajdują się w temacie Zarządzanie ruchem z użyciem przepełnienia we wdrożeniach aprowizowanych.

Rozliczenia godzinowe i rezerwacje Azure

Wdrożenia z aprowizacją obsługują dwa tryby rozliczeń: rozliczanie godzinowe na potrzeby elastycznego, krótkoterminowego użycia oraz Rezerwacje platformy Azure dla stałych obciążeń produkcyjnych po obniżonej stawce.

Rozliczenia godzinowe

Wszystkie aprowizowane typy wdrożeń są rozliczane według stawki godzinowej ($/PTU/hr) na podstawie liczby wdrożonych jednostek PTU, niezależnie od liczby użytych tokenów. Naliczanie rozpoczyna się z chwilą utworzenia wdrożenia i kończy się z chwilą jego usunięcia.

Rozliczanie godzinowe sprawdza się w krótkoterminowych zastosowaniach, takich jak porównanie wydajności nowego modelu lub tymczasowe zwiększenie skali na potrzeby wydarzenia, takiego jak hackathon. Nie planuj jednak zwiększania i zmniejszania skali wdrożeń z alokowaną przepustowością wraz ze zmianami natężenia ruchu, aby pozostać przy rozliczeniu godzinowym, z następujących powodów:

• Zasoby mogą nie być dostępne, gdy trzeba ponownie zwiększyć skalę.

• Ciągłe rozliczenia godzinowe przy wysokim wykorzystaniu zwykle przekraczają ceny rezerwacji.

Aby uzyskać pełne wskazówki dotyczące rozliczeń godzinowych i skalowania wdrożeń z aprowizacją, zobacz Rozliczenia godzinowe.

Rezerwacje platformy Azure

Rezerwacje platformy Azure są zniżką finansową stosowaną do miernika rozliczeniowego PTU (licznika godzinowego użycia, względem którego Azure nalicza opłaty), a nie do poszczególnych wdrożeń. W zamian za zobowiązanie na 1 miesiąc lub 1 rok otrzymasz obniżoną efektywną stawkę $/PTU/hr. Oto kilka kluczowych kwestii, które należy wziąć pod uwagę w przypadku rezerwacji:

• Rezerwacje są kupowane według typu wdrożenia (globalna, strefa danych lub regionalna) i mogą być objęte zakresem obejmującym co najmniej jedną subskrypcję lub grupy zasobów.

• Rezerwacje i wdrożenia są luźno powiązane, co oznacza, że niezależnie tworzysz wdrożenia i rezerwacje.

• Rezerwacje nie gwarantują pojemności. Najpierw utwórz wdrożenia, aby potwierdzić, że dostępna jest zdolność, a następnie kup rezerwację, aby zagwarantować stawkę rabatową.

Aby uzyskać pełne wskazówki dotyczące doboru rozmiaru, zakupu i zarządzania rezerwacjami, zobacz artykuł Rezerwacje platformy Azure dotyczące aprowizowanej przepływności.

Jak śledzić koszty i rozliczenia PTU

Użyj Microsoft Cost Management, aby śledzić i analizować koszty użycia jednostek PTU i rezerwacji:

Powiązana zawartość

• Wprowadzenie do aprowizowania wdrożeń
• Koszty i rozliczenia PTU
• Zarządzanie ruchem przy użyciu funkcji rozlania dla aprowizowania wdrożeń
• Włącz przetwarzanie priorytetowe dla modeli Microsoft Foundry
• Oszczędzaj dzięki rezerwacjom aprowizowanej przepustowości Microsoft Foundry
• Przydziały i limity usługi Foundry Models