規劃 Copilot Studio 代理程式部署，以因應吞吐量與速率限制

準備製作的 Copilot Studio 代理人需要的不僅僅是授權和整體訊息量規劃。 他們也需要吞吐量規劃。 吞吐量規劃涵蓋流量抵達的速度、解決方案呼叫的平台服務，以及整個解決方案中適用的限制。

本文協助解決方案架構師、開發者及 Power Platform 管理員準備大量 Copilot Studio 部署，涵蓋生產流量、使用者驗收測試（UAT）、負載測試、企業對客戶（B2C）情境及自主工作負載。

費率配置與授權配置是分開的

正式上線的 Copilot Studio 規劃有兩個相關但獨立的工作流：

• 執照配置 涵蓋商業權利與消費，如執照、點數、預付費容量、訊息包及隨用付費計費。
• 速率佈建說明在開始套用節流或服務保護控制之前，流量可被處理的速率。

隨用隨付與較低容量的設定相比，可提高可用額度，但吞吐量並非無限。 請檢查目前的 Copilot Studio 限制、Power Platform 請求分配、Power Automate 限制、Dataverse 服務保護限制、連接器限流規則，以及下游 API 限制。

發生節流時會發生什麼情況？

限速是一種服務保護機制。 它保護共享服務免受超出公告限制、突發控制或服務容量的流量模式影響。 確切症狀取決於哪一項服務受到節流。

當達到極限時，後果不僅僅是規劃上的問題。 請求可以被限速、延遲、封鎖或拒絕。 在面向使用者的聊天中，這種行為可能表現為暫時性的服務中斷。 例如，使用者可能無法傳送下一則訊息、收到「代理程式無法使用」或「達到使用限制」訊息，或因流程、連接器、Dataverse 呼叫、AI 服務或下游 API 達到其限制而導致某個步驟失敗。

請參閱代理程式中的使用限制錯誤排解，了解 Copilot Studio 特有的症狀和錯誤訊息。

速率限制的測量方式

速率限制衡量服務在特定時間窗內可接受多少流量。 仔細思考這些時間窗：每分鐘、每五分鐘、每10分鐘、每小時、每天、每週和每月。 每月或每週的容量有助於估算總需求，但較短的時段對於費率配置很重要，因為流量集中常導致限速。

例如，B2C 公司可能會在一個集中行銷活動時段內，獲得其 Agent 的大部分流量。 它的每週平均值看起來可能偏低，但這一小時仍可能造成足夠的吞吐量壓力，導致限速或服務中斷。 即使某項設計以每週或每月來看似乎安全，在單一小時的尖峰時段仍可能超出限制。

了解限制範圍

限制不僅限於個別代理人層級。 依服務不同，它們可應用於環境層級、工具層級、API 層級、連接器層級、通道層級或下游服務層級。

例如，Copilot Studio 傳送給代理程式的訊息限制是以每個 Dataverse 環境為範圍。 在估算流量時，請包含所有向該環境中代理發送訊息的來源，包括面向使用者的通道、整合、自主工作負載，以及 Azure Bot Framework 技能。 請檢查目前Copilot Studio配額與限制的值與範圍。

判斷費率配置是否適用於您的代理人

並非每位客服人員都需要詳細的費率配置工作。 一個簡單的內部 FAQ 代理，受眾少、使用可預測，且下游呼叫很少或沒有，不太可能達到速率限制。 當代理程式可能超過每分鐘或每小時請求數上限時，速率配置就變得很重要，即使其每月請求量看起來並不高。

在專案初期就考慮預期流量，並考慮解決方案設計。 在使用者驗收測試（UAT）與負載測試開始前，團隊應確信代理設計、環境、連接服務及下游系統能支援預期的吞吐量配置。

此指引對於規模較大、規模較大的企業級代理最為重要，因為流量可能以突發方式抵達，許多使用者或事件可同時呼叫代理，或每次互動依賴多個平台服務。 它也可能適用於使用模式較集中的小型客服人員，例如短期啟動窗口、部門全域事件、排程流程，或在幾分鐘內產生大量請求的工作流程。

B2C 與自主代理需要及早進行費率配置

面向客戶的 B2C 客服人員可接收來自活動、公開網站、客戶入口網站、事件通訊、產品發表或季節性需求流量。 自主代理能從排程、事件、背景流程，或呼叫多個工具與工作流程時產生高頻流量。

使用尖峰時段區間，而不僅是每月總量

詢問 Agent 是否可在一分鐘或一小時內完成集中要求。 即使是較小的場景，如果負載測試、行銷活動、中斷回應或自動化觸發程序在短時間內透過環境推送過多的訊息、生成式 AI 呼叫、工作流程動作、連接器呼叫或 Dataverse 要求，仍可能需要進行速率佈建。

月度量對於估算總需求很有用，但對於費率配置來說還不夠。 將預期用量換算為較短時間區間內的用量，以便你將設計與連結頁面中目前的每分鐘請求數（RPM）、每小時請求數（RPH）、突發流量及每日限制進行比較。

建立平均流量剖面和尖峰流量剖面。 例如，如果大多數交通集中在每天下午5點到6點之間，那麼每小時的尖峰應該會反映這個集中度。 如果交通集中在一個時段，每日估計不必是尖峰時段的24倍。

利用這些估算來評估並驗證設計。 僅靠估算不足以作為請求吞吐量提升的充分理由。 請求會在申請增加吞吐量前，根據試點階段觀察到的流量進行審查，詳見 「執行試點階段」。

還有哪些情況會發生節流？

以下情況會發生節流：

• 大量員工會在可預測的高峰時段使用該代理，例如部門活動或培訓。
• 行銷活動、停機、啟動或預定的商業活動會造成短暫的流量激增。
• Power Automate 流程包含迴圈、重試、分頁或子流程，這些都可放大請求量。
• 報表、稽核、遙測匯出或逐字稿擷取都會在使用者回合處理路徑中同步執行。
• 多個代理或工作負載共用相同的環境、身份、連接器或下游 API 容量。
• 負載測試的壓力提升速度超過生產架構或支援程序所能因應的準備程度。

在哪裡可以查詢相關的速率限制

Copilot Studio 有自己的限制，而代理的執行路徑可能包含其他服務，也有各自的限制。 檢視你經紀人所使用的服務所有相關限額。

Copilot Studio 限制

其他平台限制也需考慮

執行時路徑的最低限制決定使用者體驗。 即使流程、連接器、Dataverse 呼叫、語言服務或外部 API 受到節流限制時，Copilot Studio Agent 仍可在其本身的限制範圍內運作。

設計以降低通量壓力

不要一開始就把提高速率當成設計上的因應方式。 首先，檢視代理設計並優化效率。 如果代理程式需要查找資訊，請確保外部呼叫皆有明確目的、最佳化 API 呼叫，並避免在 Copilot Studio、Power Automate、Dataverse、連接器與下游系統之間產生不必要的請求量。

設計效率提升後，控制吞吐量，使流量以可預測的方式抵達平台：

• 對於環境層級的限制，如果這種做法符合你的營運設計，可以考慮將代理分散到多個環境。 此做法有助於避免高流量的 Agent、業務單位、區域或自主工作負載，與不相關的工作負載爭用相同的環境範圍限制。
• 對於自主代理，請使用佇列、批次處理、觸發過濾器、排程處理、重試控制和監控，避免背景工作以無控制的突發方式出現。
• 盡可能將排程、報表、稽核匯出及遙測等工作移出互動式聊天流程。
• 檢視負載測試結果與生產遙測，找出請求集中點，然後調整代理、流程、連接器及下游 API，再申請更高的限制。

自主代理具備獨特優勢，能透過排隊請求並控制觸發率，以穩健的可預測性與可觀察性最大化其分配容量的使用。

在請求提升吞吐量前，先執行試點階段

預設限制涵蓋大多數生產代理，包括服務數千名月活躍用戶的代理。 在規劃提高吞吐量之前，請先確認代理程式是否真的需要提高吞吐量。

直接全面推出並非支持的推廣模式。 先將代理對象釋出給目標受眾的子集，觀察實際使用情況，並利用這些數據規劃完整的推廣。 試點階段不僅降低發射風險，也能產生增加吞吐量申請所需的證據。

實際使用量經常與上市前的估計值有所不同。 會話長度、每個會話的訊息數、使用者達到生成答案或動作的頻率、重試行為，以及每回合的流程、連接器、Dataverse 和外部 API 呼叫次數，在代理進入真實使用者手中之前，都難以預測。 飛行員會揭示重要的限制與難以事先估算的交通模式。

設計有效的試點

試播期間的測量

擷取直接對應至已發布的速率限制的數值：

• 平均值與尖峰值下的每分鐘和每小時訊息數。
• 會話數、並行會話數、會話長度及每會話訊息。
• 每回合及每個工作階段的生成式 AI 呼叫，包括生成式答案、代理動作與工具。
• Power Automate 的動作、連接器呼叫，以及每個代理程式回合所產生的 Dataverse 要求。
• 試行尖峰時段內的節流事件、使用量限制錯誤、重試和延遲。
• 試播集的觀眾人數，以整體目標觀眾的份額表示。

外推至最大容量

將觀察到的峰值測量結果按比例推算至全體受眾，並記錄所採用的方法。 在試行期間，應以尖峰流量作為擴縮調整的依據，而非以每日或每週平均流量為準，因為節流是由流量集中所造成的。 將試行未涵蓋的任何因素納入考量，例如其他區域、管道、自主工作負載，或是流量比試行期間更集中的上線行銷活動。

最終會得到一份有證據支持的要求：實測的試行流量、試行涵蓋的對象比例、外推方法，以及據此得出的全面規模尖峰需求。

如果預設速率限制不夠，該怎麼辦

如果觀察到的試行流量顯示，在全面規模下 Agent 或任何連線服務會超出目前公佈的限制，請在擴大推出之前啟動速率佈建支援程序。 不要等到第一次生產失敗。

開啟支援要求

管理員可 向 Power Platform 管理中心申請支援。

請在試行階段結束後開立票證，並附上實測結果與推算至完整容量的外推值。 只包含設計階段估計值或小規模 UAT 結果的要求無法審查，而且會延誤提高限制的時程。 你提供的細節越是經過審慎，審查速度就越快。 隨著推行範圍逐步擴大，且可取得更多遙測資料，請更新此要求。

應包含的核心資訊

更多細節可以幫助你

相關資訊

• Copilot 工作室配額與限制
• 提升對話代理效能的最佳實務
• 解決代理程式中使用限制錯誤
• 請求限制和分配
• 了解平台限制並避免限速
• 自動化、排程與即時流程的限制
• 服務保護 API 限制
• Dataverse API 限制概觀
• 會話語言理解的限制
• 在 Power Platform 管理中心獲得支援