評估客服人員(客戶對話)(預覽)

[本文是發行前文件,可能會有所變動。]

在發佈前,請使用「評估」分頁來衡量你的代理程式在一批測試問題或對話中的表現。

評估索引標籤概觀

當你第一次打開 「評估」 標籤時,會顯示一個空白狀態:評估你的代理程式的表現,並有 「建立測試集」 按鈕。 建立一個或多個測試集後,索引標籤會改為顯示包含名稱、執行狀態、測試方法和上次執行者資料行的評估集資料表,以及新增評估按鈕。

建立測試組

  1. 在 「評估」 標籤中,選擇 建立測試集(或如果你已有測試集,則選擇 新評估)。

  2. 選擇 資料型別:

    • 單一回應:查看客服人員對特定問題的回應方式。 最適合針對性能力測試。
    • 對話(預覽):檢查客服人員與用戶較長的互動品質。 最適合一般評估。
  3. 選擇 資料來源:

    • 上傳 CSV 檔案:將 CSV 檔案拖曳到上傳區,或選擇 瀏覽。 請使用提供的 CSV 範本,確保檔案內容和格式正確。 最大檔案大小為 5 MB。
    • 快速問題集根據 Agent 的描述、指示和功能產生 10 個問題。
    • 完整題目集:最多產生100題問題,並以知識或主題作為參考。
    • 使用你的測試聊天對話:收集你目前手動測試工作階段的輸入與回應。 (確認截圖中顯示為停用/不可用;請確認何時可用。)
    • 或者,自己寫一些問題:手動新增問題,並可選擇加入預期答案。
  4. 檢視你的測試案例清單。 使用新增問題來新增,可以選擇產生 10 個問題或撰寫來手動新增一個問題。

設定測試組

在 配置測試組 面板中:

  • 資料型態:顯示您所選擇的資料型態(例如 單一回應)。
  • 名稱:測試組的必備名稱。
  • 測試方法:用於檢查資料的標準。 最多可選擇五種方法。 選擇「新增測試方法」以開啟「選擇測試方法」對話框,該對話框提供:
    • 一般品質:回應符合品質標準,如相關性與完整性。 與預期的回應不相符。
    • 比較含義:答案與預期回答的含義相同,即使措辭不同。
    • 客製化:依照你定義的指示檢查並標註客服人員的回答。
    • 關鍵字匹配:尋找匹配的詞語和片語。
    • 文字相似度:衡量代理人回答文本與預期回應的接近程度。 此方法可能會忽略意義上的差異。
    • 完全吻合:代理人的回答必須完全符合預期回應。
  • 代理人版本:選擇評估目前草稿還是已發佈的代理人(例如,現行草稿)。
  • 使用者設定檔:選擇 管理 以開啟 管理設定檔與連線 對話框,選擇或新增已認證的帳號。 開啟「對我所有的評估使用這些設定」,以便將該設定檔用於未來的測試集。 建議使用具備所有必要連線的已驗證設定檔,讓評估可以測試所有 Agent 功能。

查看結果

評估後,檢視結果,看看你的代理程式的表現如何。 審查由客戶交談執行架構提供之 Agent 的評估結果,類似於審查由標準執行架構提供之 Agent 的結果。 欲了解更多,請參閱 執行評估並檢視結果。