限流是雲 API 用來調節使用者在特定時間內可以發出的請求數量的一種控制機制。 雲端 API 產生者會使用速率限制來確保要求流程不會壓倒服務。 速率限制對 API 調用的速度和數量設置上限。 速率限制通常根據每個時間段的請求數來定義。
為何雲端 API 使用速率限制
- 防止多載。 速率限制確保 API 伺服器保持穩定且能夠回應,方法是防止任何單一使用者或服務發出過多請求。
- 確保公平使用。 Rate limiting 通過確保沒有單個用戶壟斷 API 資源來強制實施公平使用策略。 速率限制可讓所有使用者公平地存取資源。
- 提高安全性。 速率限制通過限制來自潛在惡意來源的請求數量,幫助緩解分散式拒絕服務攻擊和其他濫用行為。
- 管理成本。 對於雲端服務提供者,速率限制可藉由防止無法預測或過度使用資源,協助管理營運成本。
- 保持服務品質。 速率限制通過防止流量峰值來確保所有用戶的服務品質一致。
在應用程式中體驗速率限制的方式
當您建置整合雲端 API 的應用程式時,請檢查其檔,以確認它們是否支援速率限制。 如果這樣做,您會收到 RateLimit-... 或 X-RateLimit-... 響應標頭,其中包含速率限制的相關信息。 您可以在應用程式中使用這項資訊,以確保您未超過 API 的速率限制。 例如, RateLimit-Remaining 標頭表示目前窗口中剩餘的要求數目。 如果您收到此標頭設定為 0 的回應,您知道您已達到速率限制,而且應該在傳送另一個要求之前等候下一個視窗。 標頭 RateLimit-Reset 表示速率限制重設的時間。 某些 API 只會在您達到臨界值之後傳送 RateLimit-... 標頭。 例如,當您的要求剩餘 10 個% 時。
當您超過速率限制時,API 會限制您的請求並返回 HTTP 429 Too Many Requests 狀態代碼。 某些 API 可能還會發送一個 Retry-After 標頭,以指示在發送其他請求之前應等待多長時間。 並非所有 API 都遵循此模式。 例如,GitHub 可以使用 403 來回答,而不是 429。
為避免限制並確保您的應用程式保持回應,請在應用程式中實施速率限制。 根據您的技術堆疊,不同的庫可以幫助您處理應用程式中的速率限制。 在應用程式中實施速率限制后,請測試它是否正確處理速率限制。
速率限制會如何影響你的應用程式?
當 API 開始回傳 429 回應時,無法處理這類回應的應用程式會當機、出現通用錯誤、重試速度過快導致持續受到限流,或是無聲地丟棄資料。 開發過程中很少看到這些,因為 API 快速,你是唯一的使用者,測試資料也很小。
如何測試你的應用程式是否能處理速率限制
| Approach | 你發現的 | 您錯過的內容 |
|---|---|---|
| 等待正式環境 | 實際速率限制 | 一切,在使用者按下之前 |
| 在測試中模擬 API,或讓你的編碼代理寫出模擬 | 不管你的重試分支是否執行 | API 的真實狀態碼、速率限制標頭和錯誤實體,以及你 SDK 的重試政策。 你的應用程式也需要一個僅供測試使用的開關來連到模擬環境。 |
| 呼叫真正的 API,直到它對你進行速率限制 | 實際行為 | 你無法隨時觸及限制,會用掉真正的配額,有些限制只會在一小時後重置 |
| 攔截你應用程式的真實流量並模擬限制條件 | 真實的 URL、你的真實 SDK 和重試政策,以及 API 本身的標頭,並且有你選擇的限制 | 單獨來看,你的程式碼。 那件事就留給單元測試吧。 |
在你的應用程式中試試看
Dev Proxy 會計算你的應用程式對所選 API 的請求次數,並在回應中加入速率限制標頭;當你的應用程式超出限制時,會回傳 429 回應,而你的應用程式仍會持續呼叫真實 URL。 它也會告訴你,當你的應用程式在限制重置前再次呼叫 API 時。
下載你應用程式呼叫的 API 預設集,並用它啟動 Dev Proxy:
devproxy config get github-rate-limiting
devproxy --config-file "~dataFolder/configs/github-rate-limiting/.devproxy/devproxyrc.json"
對於 Microsoft Graph 呼叫 OneDrive 和 SharePoint(/drive、/shares、/sites),請使用 microsoft-graph-rate-limiting 預設集。 若要設定任何 API 的自訂限制,請參見 模擬速率限制 API 回應。 要安裝 Dev Proxy,請參見 設定 Dev Proxy。