API 限速是建立依賴雲端 API 的應用程式時常見的挑戰。 以下是你可以用來處理這些問題的方法:
- 使用速率限制。 如果你使用的 API 支援 速率限制,請利用該 API 傳送的速率限制資訊,確保你的應用程式不會超過該 API 的限制。
- 處理 Retry-After 標頭。 某些 API 會在要求節流時,在其回應中傳送
Retry-After標頭。 如果遭到節流,且回應有Retry-After標頭,請等候指定的時間,再發送下一個要求。 - 實作指數退避。 如果你使用的 API 沒有傳送
Retry-After標頭,就實作一個帶有隨機抖動的指數退避演算法。 每次請求失敗後,請等待兩倍的時間再嘗試,並在嘗試幾次後就停止。 等待時間越長,有助於減輕 API 負擔,並提高下一次請求成功的機會。 - 知道什麼時候不該重試。 有些類似限速的錯誤表示你的配額或信用點數已用完,例如 OpenAI 的
credit_balance_exhausted。 重試這些都沒用,所以停下來告訴使用者。 - 緩存先前接收的數據。 快取 API 的回應,特別是對於可能傳回相同的資料的請求。 快取 可協助您減少對 API 進行的呼叫數目,並維持在速率限制內。
- 將請求排入佇列。 實作傳出 API 要求的佇列來管理要求速率,並確保不會超過 API 的速率限制。
- 優化 API 呼叫。 只擷取你需要的資料,如果 API 支援,就用批次請求。 優化有助於減少請求數量並保持在速率限制內。
- 讓使用者看到正在發生的事情。 「系統忙碌中,5秒後重試」比永無止境的轉圈圖示好。
在你將這些技術實作後,測試它是否能正確處理限速。 你從未見過執行的重試邏輯,就是你不知道是否真的有效的重試邏輯。 如需比較測試方法,請參閱 如何測試您的應用程式是否能處理節流。
在你的應用程式上試試看
Dev Proxy 會回傳你選擇的 API 的限速回應,而你的應用程式會持續呼叫真實的 URL,並在你的應用程式於 Retry-After 指定時間到之前重試時通知你。 預設可供 GitHub(github-rate-limiting)、OpenAI(openai-throttling)、Anthropic(anthropic-throttling),以及 Microsoft Graph OneDrive 和 SharePoint 端點(microsoft-graph-rate-limiting):
devproxy config get openai-throttling
devproxy --config-file "~dataFolder/configs/openai-throttling/.devproxy/devproxyrc.json"
要安裝 Dev Proxy,請參見 設定 Dev Proxy。