檢閱改善檢查清單

最佳化Agent不止於上線時。 Copilot Studio 提供豐富的分析,協助您了解使用者如何與您的Agent互動、哪些對話能夠成功或在哪些地方中斷,以及Agent在使用其工具與知識方面的表現如何。 本文提供結構化的檢查清單和最佳做法,協助您持續評估並改進您的Agent。

確認您的改進與分析準備狀況

在定期審查期間使用這些問題,例如短期衝刺儀式、每月最佳化或發行前整備。

主題與使用者意圖模式

完成了嗎? 工作
✓ 你是否正在審查主題,以識別使用者問題的集群和新興意圖?
✓ 你是否將經常出現的主題新增到待辦清單,以便未來改進?

交談結果

完成了嗎? 工作
✓ 你是否正在分析已解決、升級、放棄或未投入的對話,以尋找改進空間?
✓ 您是否確保對話會以「對話結束」主題結尾,讓結果能被正確記錄?
✓ 您是否正在調查放棄的工作階段數量激增情況,以找到不明確的回應或遺失的邏輯?
✓ 您是否驗證升級路徑僅在適當情況下觸發?

產生的回答率和品質

完成了嗎? 工作
✓ 你是否審查生成的回答率,以識別知識缺口或覆蓋遺漏?
✓ 是否檢查答案品質指標,如完整性、根據性、相關性?
✓ 您是否會調查低品質的回答,並針對分析中標示的原因進行處理?

工具使用與動作使用方式

完成了嗎? 工作
✓ 是否監控工具和動作的使用頻率及其成功或失敗的情況?
✓ 是否識別使用率低或容易出錯的工具,並決定是否要最佳化或移除它們?
✓ 您是否會驗證在生成式協調流程使用的工具能夠可靠運作?

知識來源效能

完成了嗎? 工作
✓ 是否審查所有知識來源的使用率和錯誤率?
✓ 你是否會優先更新那些錯誤率高或結果不一致的知識來源?
✓ 你是否確認正確的知識來源能支援其所針對的案例?

滿意度與使用者意見反應

完成了嗎? 工作
✓ 是否透過讚/倒讚和CSAT調查收集使用者情緒?
✓ 您是否在分析回饋趨勢,以偵測不清楚的回應或對話流程較弱的情況?
✓ 您會把低滿意度的互動模式加入到待辦清單中,打算重新設計嗎?

最佳做法標註

  • 將分析視為一個反覆改進的循環:利用分析推動漸進式的變更。 利用主題、不完整的答案和失敗模式來指導衝刺規劃並優先處理待辦項目。
  • 專注於結果的品質,而不只是數量:良好的系統會盡量增加已解決的交談,並減少升級和放棄。 將結果比率作為判斷清晰度與成效的領先指標。
  • 主動強化知識來源:高錯誤率或低品質回答通常意味著知識來源不清晰、過時或不匹配。 經常更新和重組這些知識來源,以提供更佳的依據。
  • 最佳化工具以提升穩定性與效能:不可靠的工具呼叫會削弱信任感。 追蹤成功率,並重構那些經常失敗或傳回不一致資料的動作。
  • 運用主題識別新機會:主題突顯新興的使用者意圖。 運用這些主題來啟發並以其為依據,規劃新的主題、知識來源或整合需求。
  • 確保對話順利結束:永遠使用「對話結束」主題來擷取結案狀態與CSAT。 沒有這個主題,分析就會變得不完整且具有誤導性。
  • 分別評估自主型Agent與使用者觸發型Agent:自主型Agent高度依賴觸發條件與工具鏈。 將執行結果與觸發條件與使用者發起的流程分開審查。
  • 追蹤情緒趨勢:個別意見反應固然有用,但多週情緒趨勢會揭示系統性問題。 及早調查持續的下降情況。