[本文是發行前文件,可能會有所變動。]
在發佈前,請使用「評估」分頁來衡量你的代理程式在一批測試問題或對話中的表現。
評估索引標籤概觀
當你第一次打開 「評估」 標籤時,會顯示一個空白狀態:評估你的代理程式的表現,並有 「建立測試集」 按鈕。 建立一個或多個測試集後,索引標籤會改為顯示包含名稱、執行狀態、測試方法和上次執行者資料行的評估集資料表,以及新增評估按鈕。
建立測試組
在 「評估」 標籤中,選擇 建立測試集(或如果你已有測試集,則選擇 新評估)。
選擇 資料型別:
- 單一回應:查看客服人員對特定問題的回應方式。 最適合針對性能力測試。
- 對話(預覽):檢查客服人員與用戶較長的互動品質。 最適合一般評估。
選擇 資料來源:
- 上傳 CSV 檔案:將 CSV 檔案拖曳到上傳區,或選擇 瀏覽。 請使用提供的 CSV 範本,確保檔案內容和格式正確。 最大檔案大小為 5 MB。
- 快速問題集根據 Agent 的描述、指示和功能產生 10 個問題。
- 完整題目集:最多產生100題問題,並以知識或主題作為參考。
- 使用你的測試聊天對話:收集你目前手動測試工作階段的輸入與回應。 (確認截圖中顯示為停用/不可用;請確認何時可用。)
- 或者,自己寫一些問題:手動新增問題,並可選擇加入預期答案。
檢視你的測試案例清單。 使用新增問題來新增,可以選擇產生 10 個問題或撰寫來手動新增一個問題。
設定測試組
在 配置測試組 面板中:
- 資料型態:顯示您所選擇的資料型態(例如 單一回應)。
- 名稱:測試組的必備名稱。
-
測試方法:用於檢查資料的標準。 最多可選擇五種方法。 選擇「新增測試方法」以開啟「選擇測試方法」對話框,該對話框提供:
- 一般品質:回應符合品質標準,如相關性與完整性。 與預期的回應不相符。
- 比較含義:答案與預期回答的含義相同,即使措辭不同。
- 客製化:依照你定義的指示檢查並標註客服人員的回答。
- 關鍵字匹配:尋找匹配的詞語和片語。
- 文字相似度:衡量代理人回答文本與預期回應的接近程度。 此方法可能會忽略意義上的差異。
- 完全吻合:代理人的回答必須完全符合預期回應。
- 代理人版本:選擇評估目前草稿還是已發佈的代理人(例如,現行草稿)。
- 使用者設定檔:選擇 管理 以開啟 管理設定檔與連線 對話框,選擇或新增已認證的帳號。 開啟「對我所有的評估使用這些設定」,以便將該設定檔用於未來的測試集。 建議使用具備所有必要連線的已驗證設定檔,讓評估可以測試所有 Agent 功能。
查看結果
評估後,檢視結果,看看你的代理程式的表現如何。 審查由客戶交談執行架構提供之 Agent 的評估結果,類似於審查由標準執行架構提供之 Agent 的結果。 欲了解更多,請參閱 執行評估並檢視結果。