最佳化代理程式以將延遲降到最低

本文分享了一些關鍵實踐,並幫助您優化依賴外部來源資訊的客服專員,以減少客戶在對話期間的等待時間。

為外部設定的全域變數設定最大逾時延遲。 對於 全域變數設定為接收外部上下文的代理,請設定可選的逾時值,避免代理卡住更久。

限制對話上下文和工具輸出大小。 龐大的對話歷史與大型工具結果會增加模型所需處理的資訊量,並能延長回應時間。 設定工具只回傳當前任務所需的資料。 在排查延遲時,可以比較新對話的回應時間,以判斷累積的上下文是否對延遲有影響。

讓使用者知道客服專員需要一點時間。 代理程式超過幾秒鐘沒有回應可能會讓使用者懷疑系統是否正常運作。 請考慮在適用主題的開頭傳送簡短訊息,指出客服專員正在查閱資訊。 這樣,用戶就知道操作可能需要一些時間,並且一切正常。

最大限度地減少和優化長時間的非代理操作。 呼叫外部系統來查詢資訊以個人化請求可以帶來很棒的體驗,但也可能需要很長時間。 如果需要此個人化,請確定呼叫已最佳化,且所呼叫的系統是可調整的。

使用 HTTP 請求節點進行快速請求。 使用 Power Automate 流程可以輕鬆完成複雜的作業,但是,它可能會涉及相當大的額外負荷。 如果您只需進行單一外部查找調用,那麼 HTTP 請求 節點可以是這類簡單操作的輕量化選項。

對於 Power Automate 呼叫,請使用 Power Automate 儀表板來檢閱請求持續時間。 Copilot Studio 不提供有關非代理作業(例如 Power Automate 呼叫)所需時間的資訊。 因此,可能很難理解時間花在了哪裡。 在 Copilot Studio 中,這些外部呼叫是同步的,這表示在 Power Automate 流程完成之前,對話中不會進一步進行其他活動。 請考慮針對您的流程使用 Power Automate 儀表板。 此儀表板可能會為您提供有關操作成功率和失敗率以及所需時間的見解。