什麼是速率限制?

限流是雲 API 用來調節使用者在特定時間內可以發出的請求數量的一種控制機制。 雲端 API 產生者會使用速率限制來確保要求流程不會壓倒服務。 速率限制對 API 調用的速度和數量設置上限。 速率限制通常根據每個時間段的請求數來定義。

為何雲端 API 使用速率限制

  • 防止多載。 速率限制確保 API 伺服器保持穩定且能夠回應,方法是防止任何單一使用者或服務發出過多請求。
  • 確保公平使用。 Rate limiting 通過確保沒有單個用戶壟斷 API 資源來強制實施公平使用策略。 速率限制可讓所有使用者公平地存取資源。
  • 提高安全性。 速率限制通過限制來自潛在惡意來源的請求數量,幫助緩解分散式拒絕服務攻擊和其他濫用行為。
  • 管理成本。 對於雲端服務提供者,速率限制可藉由防止無法預測或過度使用資源,協助管理營運成本。
  • 保持服務品質。 速率限制通過防止流量峰值來確保所有用戶的服務品質一致。

在應用程式中體驗速率限制的方式

當您建置整合雲端 API 的應用程式時,請檢查其檔,以確認它們是否支援速率限制。 如果這樣做,您會收到 RateLimit-... 或 X-RateLimit-... 響應標頭,其中包含速率限制的相關信息。 您可以在應用程式中使用這項資訊,以確保您未超過 API 的速率限制。 例如, RateLimit-Remaining 標頭表示目前窗口中剩餘的要求數目。 如果您收到此標頭設定為 0 的回應,您知道您已達到速率限制,而且應該在傳送另一個要求之前等候下一個視窗。 標頭 RateLimit-Reset 表示速率限制重設的時間。 某些 API 只會在您達到臨界值之後傳送 RateLimit-... 標頭。 例如,當您的要求剩餘 10 個% 時。

當您超過速率限制時,API 會限制您的請求並返回 HTTP 429 Too Many Requests 狀態代碼。 某些 API 可能還會發送一個 Retry-After 標頭,以指示在發送其他請求之前應等待多長時間。 並非所有 API 都遵循此模式。 例如,GitHub 可以使用 403 來回答,而不是 429。

為避免限制並確保您的應用程式保持回應,請在應用程式中實施速率限制。 根據您的技術堆疊,不同的庫可以幫助您處理應用程式中的速率限制。 在應用程式中實施速率限制后,請測試它是否正確處理速率限制。

速率限制會如何影響你的應用程式?

當 API 開始回傳 429 回應時,無法處理這類回應的應用程式會當機、出現通用錯誤、重試速度過快導致持續受到限流,或是無聲地丟棄資料。 開發過程中很少看到這些,因為 API 快速,你是唯一的使用者,測試資料也很小。

如何測試你的應用程式是否能處理速率限制

Approach 你發現的 您錯過的內容
等待正式環境 實際速率限制 一切,在使用者按下之前
在測試中模擬 API,或讓你的編碼代理寫出模擬 不管你的重試分支是否執行 API 的真實狀態碼、速率限制標頭和錯誤實體,以及你 SDK 的重試政策。 你的應用程式也需要一個僅供測試使用的開關來連到模擬環境。
呼叫真正的 API,直到它對你進行速率限制 實際行為 你無法隨時觸及限制,會用掉真正的配額,有些限制只會在一小時後重置
攔截你應用程式的真實流量並模擬限制條件 真實的 URL、你的真實 SDK 和重試政策,以及 API 本身的標頭,並且有你選擇的限制 單獨來看,你的程式碼。 那件事就留給單元測試吧。

在你的應用程式中試試看

Dev Proxy 會計算你的應用程式對所選 API 的請求次數,並在回應中加入速率限制標頭;當你的應用程式超出限制時,會回傳 429 回應,而你的應用程式仍會持續呼叫真實 URL。 它也會告訴你,當你的應用程式在限制重置前再次呼叫 API 時。

下載你應用程式呼叫的 API 預設集,並用它啟動 Dev Proxy:

devproxy config get github-rate-limiting
devproxy --config-file "~dataFolder/configs/github-rate-limiting/.devproxy/devproxyrc.json"

對於 Microsoft Graph 呼叫 OneDrive 和 SharePoint(/drive、/shares、/sites),請使用 microsoft-graph-rate-limiting 預設集。 若要設定任何 API 的自訂限制,請參見 模擬速率限制 API 回應。 要安裝 Dev Proxy,請參見 設定 Dev Proxy。

下一步