節流是雲端 API 用來限制在特定時間內可發出的請求數量的一種技術。 限制可確保 API 保持可用並回應所有使用者。 它還可以防止任何單個使用者消耗過多的資源。
您可以透過多種方式體驗速率限制。 其中一個常見方式是使用 HTTP 狀態代碼。 例如,當你超過允許的請求數時,API 可能會回傳一個 429 Too Many Requests 狀態碼。 這個回覆表示你在特定時間內發出了太多請求,應該放慢腳步。 並非每個 API 都會使用 429:GitHub 也可以回答 403,而 Anthropic 在整個 API 過載時也會使用529。
除了狀態碼外,有些 API 會在回應標頭或正文中提供更多資訊。 例如,他們可能會用 Retry-After 標頭指示你應該等待多久才會提出下一個請求。
你需要了解你所使用的 API 的限速限制,並知道如何在應用程式中處理限速,讓它們在 API 負載過重時保持反應迅速且可靠。
限速如何影響你的應用程式
當 API 限制你的應用程式,而應用程式無法處理時,應用程式會當機、出現通用錯誤、重試速度過快導致仍被限速,或是無聲地丟棄資料。 開發過程中很少看到這些,因為 API 快速,你是唯一的使用者,測試資料也很小。
如何測試你的應用程式是否能處理限速
| Approach | 你發現的 | 你所錯過的內容 |
|---|---|---|
| 等待正式環境 | 實際的限制速率 | 一切正常,直到使用者開始操作 |
| 在測試中模擬 API,或讓你的程式代理寫出模擬 | 不管你的重試分支是否執行 | API 的真實狀態碼、Retry-After標頭和錯誤回應本文,以及你的 SDK 重試政策。 你的應用程式也需要一個只供測試使用的開關來連到模擬端點。 |
| 呼叫真正的 API,直到它對你進行限流 | 實際行為 | 你無法按需觸發限速,而且你會用掉實際配額 |
| 攔截你應用程式的真實流量並模擬限速 | 真實網址、真實的 SDK 和重試原則,以及你的應用程式是否會如 Retry-After 所說等待那麼久 |
你的程式碼獨立呈現。 把那個留給單元測試。 |
在你的應用程式中試試看
Dev Proxy 會針對你選擇的 API 回傳限流回應,而你的應用程式則持續呼叫真實的 URL。 它還會在時間結束前告訴你應用程式何時再次 Retry-After 呼叫 API。
下載你應用程式呼叫的 API 預設集,並用它啟動 Dev Proxy:
devproxy config get microsoft-graph-rate-limiting
devproxy --config-file "~dataFolder/configs/microsoft-graph-rate-limiting/.devproxy/devproxyrc.json"
| API | Preset |
|---|---|
Microsoft Graph(OneDrive 與 SharePoint:/drive, /shares, /sites) |
microsoft-graph-rate-limiting |
| GitHub | github-rate-limiting |
| OpenAI | openai-throttling |
| Anthropic | anthropic-throttling |
如需其他 API,請參閱 測試我的應用程式是否正確處理限速。 要安裝 Dev Proxy,請參見 設定 Dev Proxy。