Używanie przetwarzania Flex z Azure OpenAI w modelach Microsoft Foundry (wersja zapoznawcza)

Elastyczne przetwarzanie (wersja zapoznawcza) umożliwia wnioskowanie przy koszcie niższym o 50% w porównaniu z przetwarzaniem standardowym w przypadku obciążeń, które tolerują dłuższe czasy odpowiedzi i sporadyczną niedostępność zasobów. Wybierz przetwarzanie Flex dla pojedynczego żądania interfejsu Responses API lub Chat Completions API, ustawiając service_tier na flex.

Używaj przetwarzania Flex do pracy nieinteraktywnej i niższej priorytetu, takiej jak oceny modeli, wzbogacanie danych, analiza dokumentów i asynchroniczne przepływy pracy aplikacji. W przypadku obciążeń wrażliwych na opóźnienia lub przepustowość należy zamiast tego użyć przetwarzania standardowego, przetwarzania priorytetowego lub aprowizowanej przepustowości.

Wymagania wstępne

• Subskrypcja platformy Azure. Utwórz je bezpłatnie.

• Zasób Azure OpenAI z obsługiwanym modelem wdrożonym przy użyciu typu wdrożenia Global Standard.

• Punkt końcowy zasobu i klucz API lub poświadczenia Microsoft Entra ID. Przykłady w tym artykule używają klucza interfejsu API przechowywanego w zmiennej środowiskowej AZURE_OPENAI_API_KEY .

• Obciążenie robocze, które może tolerować zmienne opóźnienia i przejściowe odpowiedzi wskazujące na niedostępność zasobów.

• Python 3.10 lub nowszy oraz pakiet Python OpenAI dla przykładów Python:

  pip install --upgrade openai
  

Wyślij żądanie Flex

Ustaw service_tier na flex w każdym żądaniu, które ma używać przetwarzania Flex. Wartość model to nazwa wdrożenia modelu Azure.

Python

Poniższy przykład wysyła żądanie Flex przy użyciu interfejsu API Responses:

import os

from openai import OpenAI

AZURE_OPENAI_ENDPOINT = "https://YOUR-RESOURCE-NAME.openai.azure.com"

# Create a client with a longer timeout for Flex requests.
openai = OpenAI(
    base_url=f"{AZURE_OPENAI_ENDPOINT}/openai/v1/",
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    timeout=900.0,
)

# Send a request for Flex processing.
response = openai.responses.create(
    model="YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    input="Analyze these records and summarize the recurring themes.",
    service_tier="flex",
)

print(response.output_text)
print(f"Processed by service tier: {response.service_tier}")

<generated-analysis>
Processed by service tier: flex

Odpowiedź zawiera wygenerowaną analizę i warstwę usługi, która przetwarza żądanie.

Dokumentacja:API odpowiedzi

REST

Poniższy przykład wysyła to samo żądanie bezpośrednio do Responses API:

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -d '{
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
    "service_tier": "flex"
  }'

{
    "service_tier": "flex",
    "status": "completed",
    "output": [<response-output>]
}

Aby sprawdzić, która warstwa przetwarza żądanie, sprawdź pole service_tier w odpowiedzi zakończonej powodzeniem.

Dokumentacja:Dokumentacja referencyjna interfejsu API REST Responses

Wybierz opcję przetwarzania

Flex, Standard i Priority to opcje poziomu usługi dla żądań online do interfejsu API. Przepustowość wsadowa i przepustowość aprowizowana to oddzielne opcje wdrożenia i zakupu.

Wybierz przetwarzanie Flex, jeśli spełnione są wszystkie poniższe warunki:

• Twoje obciążenie może zaakceptować dłuższe i zmienne czasy przetwarzania.
• Preferowane są niższe koszty niż przewidywalne opóźnienia.
• Aplikacja może ponawiać próby po wystąpieniu przejściowych błędów lub przekierować żądanie zakończone niepowodzeniem do przetwarzania Standard.
• Wybrany model i kontekst żądania są obsługiwane.

Nie używaj przetwarzania Flex, jeśli obowiązują żadne z następujących warunków:

• Użytkownik czeka na interakcyjną odpowiedź.
• Żądanie musi zostać zrealizowane w ścisłym limicie opóźnienia.
• Aplikacja nie może tolerować ani ponawiać przejściowych odpowiedzi HTTP 429.
• Wymagana jest pojemność przetwarzania zarezerwowanego lub przewidywalna przepływność.

Przetwarzanie Flex ma następujące cechy:

• Wybór na poziomie żądania: Ustaw wartość service_tier na flex dla każdego żądania, które ma korzystać z przetwarzania Flex.
• Bez oddzielnego wdrożenia: Wysyłaj żądania Standard i Flex do tego samego wdrożenia Global Standard i wybieraj warstwę dla każdego żądania.
• Obsługiwane interfejsy API: Użyj interfejsu Responses API lub Chat Completions API.
• Odpowiedź synchroniczna: Wywołanie interfejsu API pozostaje synchroniczne, mimo że wykonanie operacji może potrwać dłużej. Przetwarzanie Flex to nie to samo co Batch API.
• Dostępność zależna od dostępnej pojemności: Żądanie może zwrócić kod HTTP 429, gdy pojemność Flex nie jest dostępna.
• Brak automatycznego przełączenia awaryjnego na tryb Standard: Aplikacja musi jawnie ponowić próbę z parametrem service_tier ustawionym na default, jeśli przetwarzanie w trybie Standard jest akceptowalne.
• Przydział udostępniony: Żądania Flex i Standard używają przydziału przypisanego do wdrożenia w warstwie Global Standard.
• Ta sama jakość danych wyjściowych modelu: Flex używa tego samego modelu bazowego co Standard. Warstwa przetwarzania zmienia opóźnienie, dostępność i cenę, a nie jakość modelu.

Przegląd obsługiwanych modeli

Przetwarzanie Flex ma ograniczoną dostępność modeli w momencie premiery. gpt-5.6-sol jest pierwszym obsługiwanym modelem. W poniższej tabeli wymieniono obsługiwane modele. Microsoft dodaje kolejne modele w miarę udostępniania obsługi.

Sprawdź tę tabelę przed wysłaniem żądania Flex. Nie zakładaj, że model lub nowa wersja modelu obsługuje przetwarzanie Flex tylko dlatego, że obsługuje przetwarzanie w trybie Standard lub Priority. Nieobsługiwany model zwraca protokół HTTP 400. Aby uniknąć zakłócenia działania aplikacji, zaimplementuj mechanizm awaryjny na poziomie aplikacji, przełączający na przetwarzanie w warstwie Standard, jeśli ceny i wydajność tej warstwy są akceptowalne.

Powrót do standardowego przetwarzania

Przetwarzanie Flex nie kieruje automatycznie żądania do Standard, gdy zasoby Flex są niedostępne. Jeśli zrealizowanie żądania jest ważniejsze niż utrzymanie taryfy Flex, ponów żądanie, ustawiając service_tier na default.

W poniższym przykładzie zastosowano strategię „completion-first”. Najpierw próbuje przetwarzania w trybie Flex, a po każdej odpowiedzi HTTP 429 ponawia próbę raz, używając trybu Standard:

import os

from openai import OpenAI, RateLimitError

AZURE_OPENAI_ENDPOINT = "https://YOUR-RESOURCE-NAME.openai.azure.com"

# Create a client with a longer timeout for Flex requests.
openai = OpenAI(
    base_url=f"{AZURE_OPENAI_ENDPOINT}/openai/v1/",
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    timeout=900.0,
)

request = {
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
}

# Try Flex processing, and fall back to Standard after an HTTP 429 response.
try:
    response = openai.responses.create(**request, service_tier="flex")
except RateLimitError:
    response = openai.responses.create(**request, service_tier="default")

print(response.output_text)
print(f"Processed by service tier: {response.service_tier}")

<generated-analysis>
Processed by service tier: <flex-or-default>

Powrót do warstwy Standard zmienia charakterystykę cenową i wydajnościową żądania. Użyj tego wzorca tylko wtedy, gdy obciążenie robocze może korzystać z warstwy cenowej Standard.

Odpowiedź HTTP 429 może wskazywać na niedostępną pojemność Flex lub limit przydziału. Ponieważ przetwarzanie Flex i Standard współdzielą ten sam limit, żądanie Standard również może się nie powieść, jeśli pierwotna odpowiedź była spowodowana limitem. Zastosuj limity ponawiania prób i obsłuż sekundę RateLimitError w aplikacji. Gdy usługa zwraca identyfikator błędu specyficznego dla rozwiązania Flex, użyj go, aby ograniczyć rezerwowe odpowiedzi związane z pojemnością.

W przypadku obciążeń, dla których priorytetem jest najniższy koszt, ponawiaj przetwarzanie Flex z wykładniczo wydłużanymi odstępami, zanim nastąpi przełączenie awaryjne. W przypadku obciążeń roboczych, dla których priorytetem jest czas ukończenia, po pierwszym błędzie pojemności w warstwie Flex przełącz się z powrotem na warstwę Standard.

Dokumentacja:RateLimitError

Obsługa błędów Flex

Rozróżniaj trwałe błędy żądań od przejściowych błędów wynikających z ograniczeń pojemności.

Użyj wycofywania wykładniczego z losowym zakłóceniami dla odpowiedzi HTTP 408, 429 i przejściowych odpowiedzi 5xx. Ustaw maksymalną liczbę ponownych prób i maksymalne opóźnienie, aby żądanie, które zakończyło się niepowodzeniem, nie pozostaje w niezwiązanej pętli ponawiania prób.

1. Uwzględnij Retry-After, gdy odpowiedź go zawiera.
2. W przeciwnym razie poczekaj na wykładniczo rosnące opóźnienie z losowym zakłóceniami.
3. Ponawiaj próby Flex tylko dopóty, dopóki opóźnienie pozostaje akceptowalne dla danego obciążenia.
4. Przełącz się z powrotem na plan Standard, jeśli limit ponowień zostanie wyczerpany, a aplikacja akceptuje wyższy koszt planu Standard.
5. Zwróć jednoznaczny błąd, jeśli ani opóźnione przetwarzanie Flex, ani mechanizm awaryjny Standard nie spełniają wymagań aplikacji.

Nie należy wielokrotnie ponawiać tego samego żądania Flex, które nie jest obsługiwane. Ponowienie próby powiedzie się dopiero po zmianie modelu, długości kontekstu, konfiguracji interfejsu API lub warstwy usługi.

Monitorowanie użycia i kosztów

Użyj metryk Azure Monitor, aby porównać ruch Flex i Standard w tym samym wdrożeniu. Monitoruj wolumin żądań, użycie tokenu, opóźnienie, błędy i szybkość, z jaką żądania Flex wracają do warstwy Standardowa w aplikacji.

1. Zaloguj się do portalu Azure.

2. Przejdź do zasobu usługi Azure OpenAI i wybierz pozycję Metryki.

3. Dodaj metrykę Żądania usługi Azure OpenAI. Możesz również dodać opóźnienie usługi Azure OpenAI, użycie usługi Azure OpenAI i metryki błędów.

4. Dodaj filtr, w którym ServiceTierRequest jest równe flex.

   

5. Twórz alerty dla długotrwałych odpowiedzi HTTP 429, zwiększone współczynniki błędów i opóźnienia, które przekraczają budżet ponawiania prób obciążenia.

Śledź następujące sygnały dla każdego obciążenia:

Aby uzyskać więcej informacji na temat monitorowania wdrożeń modelu, zobacz Monitorowanie Azure OpenAI.

Korzystanie z usługi Flex jest rozliczane za pomocą dedykowanych liczników Flex, dzięki czemu można je odróżnić od użycia standardowego. Użyj funkcji Analiza kosztów, aby przejrzeć koszty tokenów Flex według zasobów i wdrożenia.

1. W portalu Azure otwórz pozycję Zarządzanie kosztami i analiza kosztów rozliczeniowych>.
2. Przefiltruj do subskrypcji, grupy zasobów lub zasobu Azure OpenAI, które zawierają wdrożenie.
3. Grupuj lub filtruj według licznika, aby oddzielić użycie Flex od użycia Standard.
4. Dodaj filtr tagu rozliczeniowego, wybierz wdrożenie i wybierz nazwę wdrożenia.
5. Porównaj oszczędności kosztów w warstwie Flex z kosztami awaryjnego przełączenia w warstwie Standard oraz z wymaganiami dotyczącymi zakończenia obciążenia.

Elastyczne tokeny wejściowe i wyjściowe są wyceniane na 50% odpowiednich stawek standardowych. Buforowanie promptów może jeszcze bardziej obniżyć koszt kwalifikujących się tokenów wejściowych zapisanych w pamięci podręcznej. Odrzucone żądanie Flex z powodu braku dostępnej mocy obliczeniowej nie podlega rozliczeniu.

Stosowanie najlepszych rozwiązań produkcyjnych

• Ustaw dłuższy limit czasu. Żądania typu Flex mogą trwać dłużej niż żądania standardowe. Zacznij od ustawienia limitu czasu po stronie klienta odpowiedniego dla charakteru obciążenia, na przykład 15 minut, i testuj przy użyciu reprezentatywnych promptów.
• Użyj ograniczonych ponownych prób. Ogranicz próby ponawiania prób i łączny czas, który upłynął.
• Dodaj zakłócenia. Stosuj losowe opóźnienia między ponownymi próbami, aby uniknąć zsynchronizowanych skoków liczby ponowień.
• Jawnie określ mechanizm zastępczy. Ustaw wartość service_tier na default zamiast polegać na zachowaniu niejawnym.
• Śledzenie przetworzonej warstwy. Zarejestruj wartość odpowiedzi service_tier z opóźnieniem, stanem, użyciem tokenu i danymi kosztów.
• Oddziel ruch interakcyjny od ruchu w tle. Utrzymuj żądania kierowane do użytkowników w trybie standardowej, priorytetowej lub zarezerwowanej przepływności, chyba że akceptowalne są zmienne opóźnienia w trybie Flex.
• Sterowanie zduplikowaną pracą. Upewnij się, że aplikacja nie przesyła tego samego zadania logicznego wiele razy po przekroczeniu limitu czasu po stronie klienta.
• Przetestuj ścieżki błędów. Sprawdzanie obsługi odpowiedzi HTTP 400, 408, 429 i przejściowych odpowiedzi 5xx przed użyciem przetwarzania Flex w przepływach pracy produkcyjnych.
• Przed uaktualnieniem przejrzyj obsługę modelu. Model zamienny lub wersja modelu nie dziedziczy obsługi Flex automatycznie.

Zastąpić poziom usługi za pomocą nagłówka żądania

Użyj nagłówka x-ms-service-tier żądania, gdy brama, serwer proxy lub scentralizowana warstwa routingu musi wybrać warstwę usługi bez inspekcji lub modyfikowania treści żądania. Nagłówek może również ograniczyć zakres zmian związanych z migracją w przypadku aplikacji, które już określają warstwę usługi OpenAI za pomocą nagłówka żądania.

Nagłówek akceptuje następujące wartości:

Gdy nagłówek jest obecny i prawidłowy, ma pierwszeństwo przed wartością service_tier w treści żądania.

W tym przykładzie za pomocą nagłówka żąda się przetwarzania Flex. Nagłówek zastępuje wartość default w treści żądania:

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -H "x-ms-service-tier: flex" \
  -d '{
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
    "service_tier": "default"
  }'

{
    "service_tier": "flex",
    "status": "completed",
    "output": [<response-output>]
}

Nagłówek zastępujący nie zapewnia automatycznego mechanizmu awaryjnego. Nieprawidłowa wartość nagłówka lub warstwa, która nie obsługuje wybranego wdrożenia, zwraca błąd HTTP 400.

Treści powiązane

• Włączanie przetwarzania priorytetów dla modeli Microsoft Foundry
• Korzystanie z globalnego przetwarzania wsadowego w usłudze Azure OpenAI
• Przegląd typów wdrożeń dla modeli Microsoft Foundry