基礎模型 API 限制和配額

本頁說明 Databricks 基礎模型 API 工作負載的限制和配額。

Databricks 基礎模型 API 會強制執行速率限制,以確保所有使用者的可靠效能和公平的資源配置。 這些限制會根據 工作區平台層、基礎模型類型以及部署基礎模型的方式而有所不同。

按令牌付費端點速率限制

按代幣付費端點受代幣與請求速率限制。 權杖型速率限制可控制每分鐘可處理的權杖數目上限,並針對輸入和輸出權杖分別強制執行。

  • 每分鐘輸入代幣數(ITPM):在60秒窗口內可處理的最大輸入代幣數量(來自你的提示)。 ITPM 速率限制可以控制端點的輸入令牌吞吐量。
  • 每分鐘輸出代幣數(OTPM):在 60 秒視窗內可產生的最大輸出代幣數量(來自模型回應)。 OTPM 速率限制機制可控制網路端點的輸出認證碼輸送量。
  • 每小時請求數(RPH):在60分鐘內可處理的最大請求數。 對於具有持續使用模式的生產應用程式,Databricks 建議佈建輸送量端點,以提供保證的容量。

查看您的工作空間配額

本頁的表格列出了每個權杖的預設限制。 要查看特定模型適用於你工作區的限制:

  1. 在側邊欄點選 AI 閘道。
  2. 在模型標籤中開啟模型。
  3. 按一下 Metrics 索引標籤。

Quota limits 顯示目前工作區每分鐘輸入標記數、每分鐘輸出標記數、每秒請求數及每小時請求數的限制,以及在所選時間範圍內的高峰與 p90 使用量。 這些限制在工作空間中對該模型的所有使用情況中共用。

如何追蹤和執行限制

在任何時刻都適用最嚴格的費率限制(ITPM、OTPM、RPH)。 例如,即使你還沒達到 ITPM 限額,超過 RPH 或 OTPM 限額時,仍可能被費率限制。 當達到 ITPM 或 OTPM 限制時,後續要求會收到 429 錯誤,指出收到太多要求。 此訊息會持續存在,直到速率限制視窗重設為止。

Databricks 會使用下列功能來追蹤和強制執行每分鐘權杖 (TPM) 速率限制:

特徵 / 功能 詳細資訊
代幣會計和准入前檢查
  • 輸入 token 計數:輸入 token 會根據您在請求時實際提供的提示內容計算。
  • 輸出權杖估計:如果您在請求中提供 max_tokens,Databricks 會利用此值估算並保留輸出權杖容量 在 請求獲准處理前。
  • 預先核實:Databricks 會在處理前檢查您的申請是否超過 ITPM 或 OTPM 限制。 如果 max_tokens 會導致您超過 OTPM 限制,Databricks 會立即拒絕該請求,並返回 429 錯誤碼。
  • 實際輸出與估計輸出:回應產生後,實際輸出代幣會被計算。 重要的是,如果實際的代幣使用量低於保留 max_tokens值,Databricks 會將差額回饋給你的速率限制,讓這些代幣立即可用於其他請求。
  • 未指定max_tokens:如果你沒指定 max_tokens,Databricks 會使用預設保留,實際的 token count 會在產生後進行對帳。
突發容量和平滑處理
  • 突發緩衝區:速率限制器包含一個小緩衝區,以容納超過標稱速率的短暫流量突發。
  • 滑動視窗:代幣消耗使用滑動視窗演算法追蹤,提供比硬性每分鐘限制更平滑的速率限制。
  • 代幣桶演算法:Databricks 採用代幣桶實作,允許部分突發容量,同時維持平均速率限制。

以下是錄取前檢查和信用返還行為如何運作的範例。

# Request with max_tokens specified
request = {
    "prompt": "Write a story about...",  # 10 input tokens
    "max_tokens": 500  # System reserves 500 output tokens
}

# Pre-admission check:
# - Verifies 10 tokens against ITPM limit
# - Reserves 500 tokens against OTPM limit
# - If either would exceed limits, returns 429 immediately

# If admitted, actual response uses only 350 tokens
# The system credits back 150 tokens (500 - 350) to your OTPM allowance
# These 150 tokens are immediately available for other requests

開放模型的最大輸出標記

每個開放模型在單一回應中能產生的最大輸出代幣數量都有上限。 下表列出了你雲端上每種可用型號的最大上限。

型號 最大輸出權杖數
DeepSeek V4.1 Flash(1017) 384,000
DeepSeek V4.1 Flash 384,000
阿里雲 Qwen3.5 122B A10B(公開預覽版) 25,000
OpenAI GPT OSS 120B 25,000
OpenAI GPT OSS 20B 25,000
Alibaba Cloud Qwen3-Next 80B A3B Instruct(測試版) 10,000
谷歌 Gemma 3 12B 8,192
Meta Llama 4 特立獨行者 8,192
Meta Llama 3.3 70B Instruct 8,192
Meta Llama 3.1 70B Instruct 8,192
Meta Llama 3.1 8B Instruct 8,192
Meta Llama 3.1 405B 指令 4,096

型號的頻率限制

下列表格彙總了 Enterprise 工作區平台層級中工作區的按代幣付費 Foundation Model API 端點 ITPM、OTPM 和 RPH 速率限制:

備註

對於支援預建吞吐量的模型,如果按代幣付費的限制不符合你的使用情境需求,請建立 一個已配置 吞吐量端點。

合作夥伴模式代幣配額等級

合作夥伴模式的代幣配額階梯有三個編號層級。 合作夥伴模型預設為第一層級,除非模型特定的提供者容量限制要求較低的限制。 這些配額層級與 你的工作空間平台層級是分開的。

配額等級 ITPM 限制 OTPM 限制 Availability
第一級 1,000,000 100,000 除非有特定提供者容量例外,否則會自動套用到合作夥伴模型
第二層級 5,000,000 500,000 透過配額申請流程取得
第三級 10,000,000 1,000,000 透過配額申請流程取得

自訂代幣限制需由 Databricks 進行容量審查,且不在這三個層級範圍內。 代幣配額層級僅改變 ITPM 與 OTPM 限制;每秒請求(RPS)與 RPH 限制仍依模型而異。 合作夥伴模型僅在特定模型的提供者容量限制下保留較低的預設上限。 開放式模型保留以下表格所示的預設值。

大型語言模型 ITPM 限制 OTPM 限制 RPH 限制
Gemini 4 Carbon 1,000,000 100,000 三十六萬
Gemini 4 Argon 1,000,000 100,000 三十六萬
雙子座 3.1 Flash Lite 1,000,000 100,000 三十六萬
Qwen3.5 122B A10B(公開預覽) 1,000,000 100,000 三十六萬
Qwen3-Next 80B A3B Instruct(測試版) 1,000,000 100,000 三十六萬
GPT OSS 120B 1,000,000 100,000 三十六萬
GPT OSS 20B 1,000,000 100,000 三十六萬
傑瑪 3 12B 1,000,000 100,000 三十六萬
拉瑪 4 小牛 1,000,000 100,000 三十六萬
Llama 3.3 70B 指示 1,000,000 100,000 三十六萬
Llama 3.1 8B 教範 1,000,000 100,000 三十六萬
OpenJev(Qwen3.5 4B) 2,000,000 40,000 7,200
DeepSeek V4.1 Flash(1017) 2,000,000 40,000 7,200
DeepSeek V4.1 Flash 2,000,000 40,000 7,200
Anthropic Claude 模型 ITPM 限制 OTPM 限制 RPH 限制
Claude Fable 5.2 1,000,000 100,000 三十六萬
克勞德寓言 5.1 1,000,000 100,000 三十六萬
克勞德寓言5 1,000,000 100,000 三十六萬
Claude Haiku 5.5 200,000 20,000 三十六萬
克勞德俳句 4.5 1,000,000 100,000 三十六萬
克勞德作品5 1,000,000 100,000 三十六萬
克勞德作品5.5 1,000,000 100,000 三十六萬
克勞德作品4.8 1,000,000 100,000 三十六萬
克勞德作品4.7 1,000,000 100,000 三十六萬
克勞德作品4.6 1,000,000 100,000 三十六萬
克勞德作品4.5 1,000,000 100,000 三十六萬
克勞德作品 4.1 1,000,000 100,000 三十六萬
Claude Sonnet 5 1,000,000 100,000 三十六萬
Claude Sonnet 5.5 1,000,000 100,000 三十六萬
克勞德 十四行詩 4.6 1,000,000 100,000 三十六萬
克勞德十四行詩 4.5 1,000,000 100,000 三十六萬
嵌入模型 ITPM 限制 OTPM 限制 RPH 限制
Qwen3-嵌入-0.6B N/A N/A 2,160,000
GTE 大號 (英文) N/A N/A 540,000
BGE 大型 (EN) N/A N/A 2,160,000

管理 TPM 速率限制的最佳實務

步驟 1. 監控權杖使用情況

在應用程式中分別追蹤輸入和輸出權杖計數:

# Example: Track token usage
response = model.generate(prompt)
input_tokens = response.usage.prompt_tokens
output_tokens = response.usage.completion_tokens
total_tokens = response.usage.total_tokens

# Check against limits
if input_tokens > ITPM_LIMIT or output_tokens > OTPM_LIMIT:
    # Implement backoff strategy
    pass

步驟 2. 實作重試邏輯

當您遇到速率限制錯誤時,請加入指數退避:

import time
import random

def retry_with_exponential_backoff(
    func,
    initial_delay: float = 1,
    exponential_base: float = 2,
    jitter: bool = True,
    max_retries: int = 10,
):
    """Retry a function with exponential backoff."""

    num_retries = 0
    delay = initial_delay

    while num_retries < max_retries:
        try:
            return func()
        except Exception as e:
            if "rate_limit" in str(e) or "429" in str(e):
                num_retries += 1

                if jitter:
                    delay *= exponential_base * (1 + random.random())
                else:
                    delay *= exponential_base

                time.sleep(delay)
            else:
                raise e

    raise Exception(f"Maximum retries {max_retries} exceeded")

步驟 3. 最佳化代幣使用

  • 縮短提示長度:使用簡潔且結構良好的提示
  • 控制輸出長度:使用 max_tokens 參數限制響應大小
  • 高效批次處理:盡可能將相關請求分組,同時保持在限制範圍內

步驟 4. 考慮模型選擇

  • 針對高產量任務的小型模型:對於需要更高吞吐量的任務,請使用像 GPT OSS 20B 這類模型。
  • 大型模型用於複雜任務:保留 GPT OSS 120B 以支援需要最大能力的任務。

監視與疑難排解

監控您的權杖使用模式以優化效能:

# Example: Log token usage for monitoring
import logging

logger = logging.getLogger(__name__)

def log_token_usage(response):
    usage = response.usage
    logger.info(f"Input tokens: {usage.prompt_tokens}")
    logger.info(f"Output tokens: {usage.completion_tokens}")
    logger.info(f"Total tokens: {usage.total_tokens}")

    # Alert if approaching limits
    if usage.prompt_tokens > ITPM_LIMIT * 0.8:
        logger.warning("Approaching ITPM limit")
    if usage.completion_tokens > OTPM_LIMIT * 0.8:
        logger.warning("Approaching OTPM limit")

處理頻率限制錯誤

當您超過速率限制時,API 會傳回 429 Too Many Requests 錯誤:

{
  "error": {
    "message": "Rate limit exceeded: ITPM limit of 1,000,000 tokens reached",
    "type": "rate_limit_exceeded",
    "code": 429,
    "limit_type": "input_tokens_per_minute",
    "limit": 1000000,
    "current": 1000150,
    "retry_after": 15
  }
}

錯誤回應包括:

  • limit_type:超過的是哪一個具體限制:input_tokens_per_minute、output_tokens_per_minute、requests_per_second或requests_per_hour
  • limit: 設定的限制值
  • current:你目前的使用情況
  • retry_after:建議等待時間(秒數)

處理服務容量錯誤

429 Too Many Requests 錯誤表示您的工作量超過您可控的速率上限。 503 Service Unavailable 錯誤則不同:代表 Foundation Model API 暫時滿載,無法處理您的請求。 503 不計入或不表示你已達到自己的費率限制。

將 503 回應視為暫時性,並以指數退避方式重試,遵循與 步驟 2。實作重試邏輯 相同的模式。 對於需要穩定容量的生產工作負載,請使用佈建輸送量,這會提供專用容量,而非按代幣付費的共享容量。 請參閱有關 保留配置吞吐量 與 按需配置吞吐量 的文件,以了解支援的基礎模型。

常見問題和解決方案

問題 Solution
429 錯誤頻發 實作指數退避、降低請求速率,並要求更高的速率限制
已達到 ITPM 限制 優化提示長度
已達到 OTPM 限制 用 max_tokens 來限制回應長度
達到RPH上限 隨著時間的推移更均勻地分配請求
503 服務 不可用 以指數退避重試;為了穩定的生產能力,請使用佈建輸送量

預設的吞吐量限制

對於需要較高限制的生產工作負載,配置的傳輸量端點提供:

  • 無 TPM 限制:處理容量取決於配置的資源
  • 更高速率限制:每個工作區最多每秒 200 次請求
  • 可預測的效能:專用資源確保穩定的延遲

輸出代幣限制

下表總結了各支援模型的輸出代幣限制:

型號 輸出代幣上限
GPT OSS 120B 25,000
GPT OSS 20B 25,000
傑瑪 3 12B 8,192
拉瑪 4 小牛 8,192
Llama 3.1 70B 8,192
Llama 3.1 8B 8,192

其他限制

以下是預設吞吐量工作負載的限制:

  • 若要從 system.ai Unity 目錄中部署 Meta Llama 模型,您必須選擇適用的 Instruct 版本。 不支援從 Unity 目錄部署 Meta Llama 模型的基底版本。 請參閱 部署預先配置的吞吐量端點。
  • 對於使用 Llama 4 Maverick 的配置吞吐量工作負載:
    • 此模型對於配置輸送量工作負載的支援目前處於公開預覽狀態。
    • 不支援自動調整。
    • 不支援度量儀表板。
    • 為 Llama 4 Maverick 提供服務的端點不支援流量分割。 您無法在為 Llama 4 Maverick 提供服務的端點上提供多個模型。

區域可用性和資料處理

如需 Databricks 裝載的基礎模型區域可用性,請參閱 基礎模型概觀。

如需資料處理和資料所在地的詳細內容,請參閱 資料處理和資料所在地。

基礎模型與外部模型的資源與有效載荷限制

以下表格總結了服務 基礎模型 與 外部模型端點的資源與有效載荷限制。

特徵 / 功能 粒度 Limit
承載大小 依據要求 4 MB
要求/回應大小 依據要求 不會記錄超過 1 MB 的任何要求/回應。
按代幣付費基礎模型的每秒請求數(RPS) 每個模型、每個工作區 這會因模型而異。 若要查看您工作區目前的 RPS 限制,請參閱 「檢視您的工作區配額」。
配置吞吐量與外部模型的每秒請求數(RPS) 每個工作區 200
模型執行持續時間 依據要求 597秒
串流請求至開放模型的模型執行持續時間 依據要求 30分鐘
額外負荷延遲 依據要求 小於 50 毫秒

30 分鐘串流限制不適用於舊版 Meta Llama 3.1 的 8B、70B 和 405B 型號。 對這些模型的串流請求受 597 秒限制。

其他資源