最佳化Agent不止於上線時。 Copilot Studio 提供豐富的分析,協助您了解使用者如何與您的Agent互動、哪些對話能夠成功或在哪些地方中斷,以及Agent在使用其工具與知識方面的表現如何。 本文提供結構化的檢查清單和最佳做法,協助您持續評估並改進您的Agent。
確認您的改進與分析準備狀況
在定期審查期間使用這些問題,例如短期衝刺儀式、每月最佳化或發行前整備。
主題與使用者意圖模式
| 完成了嗎? |
工作 |
| ✓ |
你是否正在審查主題,以識別使用者問題的集群和新興意圖? |
| ✓ |
你是否將經常出現的主題新增到待辦清單,以便未來改進? |
交談結果
| 完成了嗎? |
工作 |
| ✓ |
你是否正在分析已解決、升級、放棄或未投入的對話,以尋找改進空間? |
| ✓ |
您是否確保對話會以「對話結束」主題結尾,讓結果能被正確記錄? |
| ✓ |
您是否正在調查放棄的工作階段數量激增情況,以找到不明確的回應或遺失的邏輯? |
| ✓ |
您是否驗證升級路徑僅在適當情況下觸發? |
產生的回答率和品質
| 完成了嗎? |
工作 |
| ✓ |
你是否審查生成的回答率,以識別知識缺口或覆蓋遺漏? |
| ✓ |
是否檢查答案品質指標,如完整性、根據性、相關性? |
| ✓ |
您是否會調查低品質的回答,並針對分析中標示的原因進行處理? |
| 完成了嗎? |
工作 |
| ✓ |
是否監控工具和動作的使用頻率及其成功或失敗的情況? |
| ✓ |
是否識別使用率低或容易出錯的工具,並決定是否要最佳化或移除它們? |
| ✓ |
您是否會驗證在生成式協調流程使用的工具能夠可靠運作? |
| 完成了嗎? |
工作 |
| ✓ |
是否審查所有知識來源的使用率和錯誤率? |
| ✓ |
你是否會優先更新那些錯誤率高或結果不一致的知識來源? |
| ✓ |
你是否確認正確的知識來源能支援其所針對的案例? |
滿意度與使用者意見反應
| 完成了嗎? |
工作 |
| ✓ |
是否透過讚/倒讚和CSAT調查收集使用者情緒? |
| ✓ |
您是否在分析回饋趨勢,以偵測不清楚的回應或對話流程較弱的情況? |
| ✓ |
您會把低滿意度的互動模式加入到待辦清單中,打算重新設計嗎? |
最佳做法標註
-
將分析視為一個反覆改進的循環:利用分析推動漸進式的變更。 利用主題、不完整的答案和失敗模式來指導衝刺規劃並優先處理待辦項目。
-
專注於結果的品質,而不只是數量:良好的系統會盡量增加已解決的交談,並減少升級和放棄。 將結果比率作為判斷清晰度與成效的領先指標。
-
主動強化知識來源:高錯誤率或低品質回答通常意味著知識來源不清晰、過時或不匹配。 經常更新和重組這些知識來源,以提供更佳的依據。
-
最佳化工具以提升穩定性與效能:不可靠的工具呼叫會削弱信任感。 追蹤成功率,並重構那些經常失敗或傳回不一致資料的動作。
-
運用主題識別新機會:主題突顯新興的使用者意圖。 運用這些主題來啟發並以其為依據,規劃新的主題、知識來源或整合需求。
-
確保對話順利結束:永遠使用「對話結束」主題來擷取結案狀態與CSAT。 沒有這個主題,分析就會變得不完整且具有誤導性。
-
分別評估自主型Agent與使用者觸發型Agent:自主型Agent高度依賴觸發條件與工具鏈。 將執行結果與觸發條件與使用者發起的流程分開審查。
-
追蹤情緒趨勢:個別意見反應固然有用,但多週情緒趨勢會揭示系統性問題。 及早調查持續的下降情況。