在 Microsoft Foundry Models 中使用 Flex 處理搭配 Azure OpenAI（預覽版）

Flex 處理（預覽）可為能容忍較慢回應時間及資源偶爾無法使用的工作負載，提供比標準處理便宜 50% 的推論。 若要為個別的 Responses API 或 Chat Completions API 請求選用 Flex processing，請將 service_tier 設為 flex。

使用 Flex 處理非互動性及低優先順序工作，如模型評估、資料豐富、文件分析及非同步應用工作流程。 對於延遲敏感或容量敏感的工作負載，請改用標準處理、優先處理或配置吞吐量。

先決條件

• Azure 訂用帳戶。 免費創建一個。

• 已使用 Global Standard 部署類型部署受支援模型的 Azure OpenAI 資源。

• 資源端點與 API 金鑰或 Microsoft Entra ID 憑證。 本文中的範例使用了儲存在環境變數中的 AZURE_OPENAI_API_KEY API 金鑰。

• 可容忍可變延遲與暫時性資源不可用回覆的工作負載。

• Python 3.10 或更新版本，以及 OpenAI Python 套件（用於 Python 範例）：

  pip install --upgrade openai
  

發送彈性申請

在每個應使用 Flex 處理的請求中，將 service_tier 設為 flex。 這個model值是你 Azure 模型部署的名稱。

Python

以下範例是透過 Responses API 發送 Flex 請求：

import os

from openai import OpenAI

AZURE_OPENAI_ENDPOINT = "https://YOUR-RESOURCE-NAME.openai.azure.com"

# Create a client with a longer timeout for Flex requests.
openai = OpenAI(
    base_url=f"{AZURE_OPENAI_ENDPOINT}/openai/v1/",
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    timeout=900.0,
)

# Send a request for Flex processing.
response = openai.responses.create(
    model="YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    input="Analyze these records and summarize the recurring themes.",
    service_tier="flex",
)

print(response.output_text)
print(f"Processed by service tier: {response.service_tier}")

<generated-analysis>
Processed by service tier: flex

回應包含產生的分析結果以及處理請求的服務層級。

參考資料：回應 API

REST

以下範例直接將相同請求傳送至 Responses API：

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -d '{
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
    "service_tier": "flex"
  }'

{
    "service_tier": "flex",
    "status": "completed",
    "output": [<response-output>]
}

要確認是哪個層級處理請求，請在成功回應中勾選 service_tier 欄位。

參考資料：Responses API REST 參考資料

選擇處理選項

Flex、Standard 和 Priority 處理是線上 API 請求的服務層級選擇。 批次處理與配置吞吐量是獨立的部署與購買選項。

當符合以下所有條件時，請選擇彈性處理：

• 你的工作量可以容忍更長且變動的處理時間。
• 你偏好較低成本勝過可預測的延遲。
• 您的應用程式可以重試暫時性失敗，或將失敗的請求導向標準處理。
• 所選模型與請求上下文皆有支援。

當符合以下任何條件時，請勿使用彈性處理：

• 使用者正在等待互動式回應。
• 請求必須在嚴格的延遲目標內完成。
• 你的應用程式無法容忍或重試暫時性的 HTTP 429 回應。
• 你需要預留的處理能力或可預測的吞吐量。

Flex 處理具有以下特性：

• 請求層級設定： 針對每個應使用 Flex 處理的請求，將 service_tier 設為 flex。
• 沒有單獨部署： 將標準與彈性請求傳送至同一個全球標準部署，並選擇每個請求的層級。
• 支援的 API： 可以使用回應 API 或聊天完成 API。
• 同步回應： API 呼叫保持同步，儘管工作負載可能耗時較長。 Flex 處理和批次 API 不一樣。
• 依容量而定的可用性： 當 Flex 容量不足時，請求可以回傳 HTTP 429。
• 不會自動回退至 Standard： 如果可以接受標準處理，你的應用程式必須明確使用設為 default 的 service_tier 重新嘗試。
• 共享配額： Flex 與 Standard 請求使用分配給全域標準部署的配額。
• 相同模型輸出品質： Flex 使用與標準相同的底層模型。 處理層級改變的是延遲、可用性和價格，而非模型品質。

檢視支援的模型

Flex 處理在推出時可用的模型有限。 gpt-5.6-sol 是首個支援的型號。 下表列出支援的模型。 Microsoft 會隨著支援增加而推出更多型號。

在你提交彈性申請前，請先查看這張表格。 不要因為支援標準或優先處理，就假設某個模型或新版本支援 Flex 處理。 不支援的型號會回傳 HTTP 400。 為避免中斷您的應用程式，當標準定價與效能可接受時，應實施應用層級的備援至標準處理。

切換回標準處理

當彈性處理無法使用時，Flex 處理不會自動將請求路由到標準。 如果完成申請比保留彈性價格更重要，請重新嘗試，設定 service_tier 為 default。

以下範例使用完備優先策略。 它首先嘗試 Flex 處理，並在任何 HTTP 429 回應後以標準處理重試一次：

import os

from openai import OpenAI, RateLimitError

AZURE_OPENAI_ENDPOINT = "https://YOUR-RESOURCE-NAME.openai.azure.com"

# Create a client with a longer timeout for Flex requests.
openai = OpenAI(
    base_url=f"{AZURE_OPENAI_ENDPOINT}/openai/v1/",
    api_key=os.environ["AZURE_OPENAI_API_KEY"],
    timeout=900.0,
)

request = {
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
}

# Try Flex processing, and fall back to Standard after an HTTP 429 response.
try:
    response = openai.responses.create(**request, service_tier="flex")
except RateLimitError:
    response = openai.responses.create(**request, service_tier="default")

print(response.output_text)
print(f"Processed by service tier: {response.service_tier}")

<generated-analysis>
Processed by service tier: <flex-or-default>

回退至標準會改變請求的定價與效能特性。 只有當工作量能接受標準定價時，才使用此模式。

HTTP 429 回應可能表示 Flex 容量不可用或配額限制。 由於 Flex 和 Standard 處理會共享配額，當配額導致原始回應時，標準請求也可能失敗。 套用重試限制，並在您的應用程式中處理第二個 RateLimitError。 當服務回傳 Flex 專屬錯誤識別碼時，請用它來限制備援回應僅限於容量相關回應。

對於優先處理成本最低的工作負載，建議在回退前先用指數式回退重新嘗試 Flex 處理。 對於以完成時間為優先的工作負載，在第一次發生 Flex 容量錯誤後，請切換回 Standard。

參考：RateLimitError

處理 Flex 錯誤

區分永久性請求錯誤與暫態容量錯誤。

對於 HTTP 408、429 和瞬態 5xx 回應，使用帶有隨機抖動的指數退避。 設定最大重試次數和最大延遲，避免失敗的請求停留在無界重試迴圈中。

1. 當回應包含 Retry-After 時，請保留它。
2. 否則，請等待一段以指數方式增加且帶有隨機抖動的延遲時間。
3. 僅在延遲對該工作負載而言仍可接受時，才重試 Flex。
4. 如果重試預算用盡且應用程式允許較高的標準成本，則可退回標準。
5. 若延遲 Flex 處理和 Standard 備援機制都無法滿足應用程式的需求，則明確傳回失敗。

不要一再重複同一個不支援的 Flex 請求。 只有在你更改模型、上下文長度、API 設定或服務層級後，重試才會成功。

監控使用量與成本

使用 Azure 監視器 指標比較同一部署中的 Flex 與 Standard 流量。 監控應用程式中的請求量、權杖消耗、延遲、失敗情況，以及 Flex 請求回退至 Standard 的比率。

1. 登入 Azure 入口網站。

2. 到你的 Azure OpenAI 資源，選擇 Metrics。

3. 新增 Azure OpenAI 請求指標。 你也可以新增 Azure OpenAI 延遲、Azure OpenAI 使用率和錯誤指標。

4. 新增一個篩選器，使 ServiceTierRequest 等於 flex。

   

5. 針對持續的 HTTP 429 回應、錯誤率增加及超出工作負載重試預算的延遲，建立警示。

針對每個工作負載追蹤以下訊號：

欲了解更多關於監控模型部署的資訊，請參閱 Monitor Azure OpenAI。

Flex 用電量會用專用的 Flex 電表計費，這樣你就能和標準用量區分。 使用成本分析來檢視 Flex 代幣的資源與部署成本。

1. 在 Azure 入口網站中，開啟 Cost Management + Billing>Cost analysis。
2. 篩選到包含部署的訂閱、資源群組或 Azure OpenAI 資源。
3. 依照 計量 分組或篩選，以將彈性用量與標準用量區分開來。
4. 新增帳單 標籤 過濾器，選擇 部署，並選擇部署名稱。
5. 比較彈性成本節省、標準回退成本，以及工作負載的完成需求。

Flex 輸入與輸出代幣的價格為相應標準費率的 50%。 提示快取可以進一步降低符合條件的快取輸入標記的成本。 因處理能力不足而被拒絕的彈性申請不會被計費。

應用生產最佳實務

• 設定一個更長的暫停時間。 彈性申請可能比標準申請花更長時間。 先設定適合你工作量的客戶暫停，例如15分鐘，並用具代表性的提示來測試。
• 使用有限次數的重試。 限制重試次數和總耗時。
• 加入抖動。 隨機調整回撥延遲，以避免同步重試尖峰。
• 明確化後援機制。 將 service_tier 設定為 default，而不是依賴隱含行為。
• 追蹤已處理的層。 記錄回應 service_tier 值，並附上延遲、狀態、令牌使用情況及成本資料。
• 將互動式流量與背景流量分隔開來。 除非可接受可變彈性延遲，否則請將面向使用者的要求保留在標準、優先或已佈建的輸送量。
• 控制重複工作。 確保應用程式在用戶端逾時後，不會多次提交相同的邏輯作業。
• 測試失敗路徑。 在生產工作流程中使用 Flex 處理前，先驗證 HTTP 400、408、429 及暫態 5xx 回應的處理。
• 升級前先檢視車型支援。 替換機型或型號版本不會自動繼承 Flex 支援。

使用要求標頭覆寫服務層級

當閘道、代理或集中式路由層需要選擇服務層級，且不檢查或修改請求實體時，請使用 x-ms-service-tier 請求標頭。 標頭也能減少已透過請求標頭選擇 OpenAI 服務層級的應用程式的遷移變更。

標頭接受以下值：

當標頭存在且有效時，該標頭會優先於要求本文中的 service_tier 值。

此範例透過標頭請求 Flex 處理。 標頭會覆寫要求本文中的 default 值：

curl -X POST https://YOUR-RESOURCE-NAME.openai.azure.com/openai/v1/responses \
  -H "Content-Type: application/json" \
  -H "api-key: $AZURE_OPENAI_API_KEY" \
  -H "x-ms-service-tier: flex" \
  -d '{
    "model": "YOUR-GPT-5.6-SOL-DEPLOYMENT-NAME",
    "input": "Analyze these records and summarize the recurring themes.",
    "service_tier": "default"
  }'

{
    "service_tier": "flex",
    "status": "completed",
    "output": [<response-output>]
}

覆寫標頭不提供自動備援機制。 若標頭值無效，或所選部署不支援的層級，則會回傳 HTTP 400。

相關內容

• 啟用 Microsoft Foundry 模型的優先處理
• 使用 Azure OpenAI 進行全域批次處理
• 檢視 Microsoft Foundry 模型的部署類型