本頁說明 Databricks 基礎模型 API 工作負載的限制和配額。
Databricks 基礎模型 API 會強制執行速率限制,以確保所有使用者的可靠效能和公平的資源配置。 這些限制會根據 工作區平台層、基礎模型類型以及部署基礎模型的方式而有所不同。
按令牌付費端點速率限制
按代幣付費端點受代幣與請求速率限制。 權杖型速率限制可控制每分鐘可處理的權杖數目上限,並針對輸入和輸出權杖分別強制執行。
- 每分鐘輸入代幣數(ITPM):在60秒窗口內可處理的最大輸入代幣數量(來自你的提示)。 ITPM 速率限制可以控制端點的輸入令牌吞吐量。
- 每分鐘輸出代幣數(OTPM):在 60 秒視窗內可產生的最大輸出代幣數量(來自模型回應)。 OTPM 速率限制機制可控制網路端點的輸出認證碼輸送量。
- 每小時請求數(RPH):在60分鐘內可處理的最大請求數。 對於具有持續使用模式的生產應用程式,Databricks 建議佈建輸送量端點,以提供保證的容量。
查看您的工作空間配額
本頁的表格列出了每個權杖的預設限制。 要查看特定模型適用於你工作區的限制:
- 在側邊欄點選 AI 閘道。
- 在模型標籤中開啟模型。
- 按一下 Metrics 索引標籤。
Quota limits 顯示目前工作區每分鐘輸入標記數、每分鐘輸出標記數、每秒請求數及每小時請求數的限制,以及在所選時間範圍內的高峰與 p90 使用量。 這些限制在工作空間中對該模型的所有使用情況中共用。
如何追蹤和執行限制
在任何時刻都適用最嚴格的費率限制(ITPM、OTPM、RPH)。 例如,即使你還沒達到 ITPM 限額,超過 RPH 或 OTPM 限額時,仍可能被費率限制。 當達到 ITPM 或 OTPM 限制時,後續要求會收到 429 錯誤,指出收到太多要求。 此訊息會持續存在,直到速率限制視窗重設為止。
Databricks 會使用下列功能來追蹤和強制執行每分鐘權杖 (TPM) 速率限制:
| 特徵 / 功能 | 詳細資訊 |
|---|---|
| 代幣會計和准入前檢查 |
|
| 突發容量和平滑處理 |
|
以下是錄取前檢查和信用返還行為如何運作的範例。
# Request with max_tokens specified
request = {
"prompt": "Write a story about...", # 10 input tokens
"max_tokens": 500 # System reserves 500 output tokens
}
# Pre-admission check:
# - Verifies 10 tokens against ITPM limit
# - Reserves 500 tokens against OTPM limit
# - If either would exceed limits, returns 429 immediately
# If admitted, actual response uses only 350 tokens
# The system credits back 150 tokens (500 - 350) to your OTPM allowance
# These 150 tokens are immediately available for other requests
開放模型的最大輸出標記
每個開放模型在單一回應中能產生的最大輸出代幣數量都有上限。 下表列出了你雲端上每種可用型號的最大上限。
| 型號 | 最大輸出權杖數 |
|---|---|
| DeepSeek V4.1 Flash(1017) | 384,000 |
| DeepSeek V4.1 Flash | 384,000 |
| 阿里雲 Qwen3.5 122B A10B(公開預覽版) | 25,000 |
| OpenAI GPT OSS 120B | 25,000 |
| OpenAI GPT OSS 20B | 25,000 |
| Alibaba Cloud Qwen3-Next 80B A3B Instruct(測試版) | 10,000 |
| 谷歌 Gemma 3 12B | 8,192 |
| Meta Llama 4 特立獨行者 | 8,192 |
| Meta Llama 3.3 70B Instruct | 8,192 |
| Meta Llama 3.1 70B Instruct | 8,192 |
| Meta Llama 3.1 8B Instruct | 8,192 |
| Meta Llama 3.1 405B 指令 | 4,096 |
型號的頻率限制
下列表格彙總了 Enterprise 工作區平台層級中工作區的按代幣付費 Foundation Model API 端點 ITPM、OTPM 和 RPH 速率限制:
備註
對於支援預建吞吐量的模型,如果按代幣付費的限制不符合你的使用情境需求,請建立 一個已配置 吞吐量端點。
合作夥伴模式代幣配額等級
合作夥伴模式的代幣配額階梯有三個編號層級。 合作夥伴模型預設為第一層級,除非模型特定的提供者容量限制要求較低的限制。 這些配額層級與 你的工作空間平台層級是分開的。
| 配額等級 | ITPM 限制 | OTPM 限制 | Availability |
|---|---|---|---|
| 第一級 | 1,000,000 | 100,000 | 除非有特定提供者容量例外,否則會自動套用到合作夥伴模型 |
| 第二層級 | 5,000,000 | 500,000 | 透過配額申請流程取得 |
| 第三級 | 10,000,000 | 1,000,000 | 透過配額申請流程取得 |
自訂代幣限制需由 Databricks 進行容量審查,且不在這三個層級範圍內。 代幣配額層級僅改變 ITPM 與 OTPM 限制;每秒請求(RPS)與 RPH 限制仍依模型而異。 合作夥伴模型僅在特定模型的提供者容量限制下保留較低的預設上限。 開放式模型保留以下表格所示的預設值。
| 大型語言模型 | ITPM 限制 | OTPM 限制 | RPH 限制 |
|---|---|---|---|
| Gemini 4 Carbon | 1,000,000 | 100,000 | 三十六萬 |
| Gemini 4 Argon | 1,000,000 | 100,000 | 三十六萬 |
| 雙子座 3.1 Flash Lite | 1,000,000 | 100,000 | 三十六萬 |
| Qwen3.5 122B A10B(公開預覽) | 1,000,000 | 100,000 | 三十六萬 |
| Qwen3-Next 80B A3B Instruct(測試版) | 1,000,000 | 100,000 | 三十六萬 |
| GPT OSS 120B | 1,000,000 | 100,000 | 三十六萬 |
| GPT OSS 20B | 1,000,000 | 100,000 | 三十六萬 |
| 傑瑪 3 12B | 1,000,000 | 100,000 | 三十六萬 |
| 拉瑪 4 小牛 | 1,000,000 | 100,000 | 三十六萬 |
| Llama 3.3 70B 指示 | 1,000,000 | 100,000 | 三十六萬 |
| Llama 3.1 8B 教範 | 1,000,000 | 100,000 | 三十六萬 |
| OpenJev(Qwen3.5 4B) | 2,000,000 | 40,000 | 7,200 |
| DeepSeek V4.1 Flash(1017) | 2,000,000 | 40,000 | 7,200 |
| DeepSeek V4.1 Flash | 2,000,000 | 40,000 | 7,200 |
| Anthropic Claude 模型 | ITPM 限制 | OTPM 限制 | RPH 限制 |
|---|---|---|---|
| Claude Fable 5.2 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德寓言 5.1 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德寓言5 | 1,000,000 | 100,000 | 三十六萬 |
| Claude Haiku 5.5 | 200,000 | 20,000 | 三十六萬 |
| 克勞德俳句 4.5 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品5 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品5.5 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品4.8 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品4.7 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品4.6 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品4.5 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德作品 4.1 | 1,000,000 | 100,000 | 三十六萬 |
| Claude Sonnet 5 | 1,000,000 | 100,000 | 三十六萬 |
| Claude Sonnet 5.5 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德 十四行詩 4.6 | 1,000,000 | 100,000 | 三十六萬 |
| 克勞德十四行詩 4.5 | 1,000,000 | 100,000 | 三十六萬 |
| 嵌入模型 | ITPM 限制 | OTPM 限制 | RPH 限制 |
|---|---|---|---|
| Qwen3-嵌入-0.6B | N/A | N/A | 2,160,000 |
| GTE 大號 (英文) | N/A | N/A | 540,000 |
| BGE 大型 (EN) | N/A | N/A | 2,160,000 |
管理 TPM 速率限制的最佳實務
步驟 1. 監控權杖使用情況
在應用程式中分別追蹤輸入和輸出權杖計數:
# Example: Track token usage
response = model.generate(prompt)
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens
# Check against limits
if input_tokens > ITPM_LIMIT or output_tokens > OTPM_LIMIT:
# Implement backoff strategy
pass
步驟 2. 實作重試邏輯
當您遇到速率限制錯誤時,請加入指數退避:
import time
import random
def retry_with_exponential_backoff(
func,
initial_delay: float = 1,
exponential_base: float = 2,
jitter: bool = True,
max_retries: int = 10,
):
"""Retry a function with exponential backoff."""
num_retries = 0
delay = initial_delay
while num_retries < max_retries:
try:
return func()
except Exception as e:
if "rate_limit" in str(e) or "429" in str(e):
num_retries += 1
if jitter:
delay *= exponential_base * (1 + random.random())
else:
delay *= exponential_base
time.sleep(delay)
else:
raise e
raise Exception(f"Maximum retries {max_retries} exceeded")
步驟 3. 最佳化代幣使用
- 縮短提示長度:使用簡潔且結構良好的提示
-
控制輸出長度:使用
max_tokens參數限制響應大小 - 高效批次處理:盡可能將相關請求分組,同時保持在限制範圍內
步驟 4. 考慮模型選擇
- 針對高產量任務的小型模型:對於需要更高吞吐量的任務,請使用像 GPT OSS 20B 這類模型。
- 大型模型用於複雜任務:保留 GPT OSS 120B 以支援需要最大能力的任務。
監視與疑難排解
監控您的權杖使用模式以優化效能:
# Example: Log token usage for monitoring
import logging
logger = logging.getLogger(__name__)
def log_token_usage(response):
usage = response.usage
logger.info(f"Input tokens: {usage.prompt_tokens}")
logger.info(f"Output tokens: {usage.completion_tokens}")
logger.info(f"Total tokens: {usage.total_tokens}")
# Alert if approaching limits
if usage.prompt_tokens > ITPM_LIMIT * 0.8:
logger.warning("Approaching ITPM limit")
if usage.completion_tokens > OTPM_LIMIT * 0.8:
logger.warning("Approaching OTPM limit")
處理頻率限制錯誤
當您超過速率限制時,API 會傳回 429 Too Many Requests 錯誤:
{
"error": {
"message": "Rate limit exceeded: ITPM limit of 1,000,000 tokens reached",
"type": "rate_limit_exceeded",
"code": 429,
"limit_type": "input_tokens_per_minute",
"limit": 1000000,
"current": 1000150,
"retry_after": 15
}
}
錯誤回應包括:
-
limit_type:超過的是哪一個具體限制:input_tokens_per_minute、output_tokens_per_minute、requests_per_second或requests_per_hour -
limit: 設定的限制值 -
current:你目前的使用情況 -
retry_after:建議等待時間(秒數)
處理服務容量錯誤
429 Too Many Requests 錯誤表示您的工作量超過您可控的速率上限。
503 Service Unavailable 錯誤則不同:代表 Foundation Model API 暫時滿載,無法處理您的請求。 503 不計入或不表示你已達到自己的費率限制。
將 503 回應視為暫時性,並以指數退避方式重試,遵循與 步驟 2。實作重試邏輯 相同的模式。 對於需要穩定容量的生產工作負載,請使用佈建輸送量,這會提供專用容量,而非按代幣付費的共享容量。 請參閱有關 保留配置吞吐量 與 按需配置吞吐量 的文件,以了解支援的基礎模型。
常見問題和解決方案
| 問題 | Solution |
|---|---|
| 429 錯誤頻發 | 實作指數退避、降低請求速率,並要求更高的速率限制 |
| 已達到 ITPM 限制 | 優化提示長度 |
| 已達到 OTPM 限制 | 用 max_tokens 來限制回應長度 |
| 達到RPH上限 | 隨著時間的推移更均勻地分配請求 |
| 503 服務 不可用 | 以指數退避重試;為了穩定的生產能力,請使用佈建輸送量 |
預設的吞吐量限制
對於需要較高限制的生產工作負載,配置的傳輸量端點提供:
- 無 TPM 限制:處理容量取決於配置的資源
- 更高速率限制:每個工作區最多每秒 200 次請求
- 可預測的效能:專用資源確保穩定的延遲
輸出代幣限制
下表總結了各支援模型的輸出代幣限制:
| 型號 | 輸出代幣上限 |
|---|---|
| GPT OSS 120B | 25,000 |
| GPT OSS 20B | 25,000 |
| 傑瑪 3 12B | 8,192 |
| 拉瑪 4 小牛 | 8,192 |
| Llama 3.1 70B | 8,192 |
| Llama 3.1 8B | 8,192 |
其他限制
以下是預設吞吐量工作負載的限制:
- 若要從
system.aiUnity 目錄中部署 Meta Llama 模型,您必須選擇適用的 Instruct 版本。 不支援從 Unity 目錄部署 Meta Llama 模型的基底版本。 請參閱 部署預先配置的吞吐量端點。 - 對於使用 Llama 4 Maverick 的配置吞吐量工作負載:
- 此模型對於配置輸送量工作負載的支援目前處於公開預覽狀態。
- 不支援自動調整。
- 不支援度量儀表板。
- 為 Llama 4 Maverick 提供服務的端點不支援流量分割。 您無法在為 Llama 4 Maverick 提供服務的端點上提供多個模型。
區域可用性和資料處理
如需 Databricks 裝載的基礎模型區域可用性,請參閱 基礎模型概觀。
如需資料處理和資料所在地的詳細內容,請參閱 資料處理和資料所在地。
基礎模型與外部模型的資源與有效載荷限制
以下表格總結了服務 基礎模型 與 外部模型端點的資源與有效載荷限制。
| 特徵 / 功能 | 粒度 | Limit |
|---|---|---|
| 承載大小 | 依據要求 | 4 MB |
| 要求/回應大小 | 依據要求 | 不會記錄超過 1 MB 的任何要求/回應。 |
| 按代幣付費基礎模型的每秒請求數(RPS) | 每個模型、每個工作區 | 這會因模型而異。 若要查看您工作區目前的 RPS 限制,請參閱 「檢視您的工作區配額」。 |
| 配置吞吐量與外部模型的每秒請求數(RPS) | 每個工作區 | 200 |
| 模型執行持續時間 | 依據要求 | 597秒 |
| 串流請求至開放模型的模型執行持續時間 | 依據要求 | 30分鐘 |
| 額外負荷延遲 | 依據要求 | 小於 50 毫秒 |
30 分鐘串流限制不適用於舊版 Meta Llama 3.1 的 8B、70B 和 405B 型號。 對這些模型的串流請求受 597 秒限制。