檢視代理程式的評估結果(預覽)

[本文章是發行前版本文件,且隨時可能變更。]

評估後,檢視結果,看看你的客服人員在對話中的表現如何。 結果顯示品質分數,並讓你開啟個別對話,查看客服人員的回應。

Important

  • 此為生產就緒型預覽功能。
  • 生產就緒型預覽受補充使用規定規範限制。

查看執行結果

查看跑步結果:

  1. 在 Copilot Studio 中開啟您的代理程式。
  2. 選取評估索引標籤。
  3. 在 近期結果中,選擇帶有先前測試的評估以查看其結果。

結果會顯示下列資訊:

  • 測試結果:一張顯示每次對話的表格,包含使用者與代理之間的訊息數量及整體品質分數。 選擇對話以查看更多細節。

  • 整體評估摘要:涵蓋所有測試方法的摘要。 其中包含下列資訊:

    • 分數:通過一般品質測試方法的交談總分。
    • 持續時間:完成評估所需的時間。
    • 測試案例:整體評估的測試案例數量。
    • 資料類型:測試集的類型。 目前僅提供對話資料類型。
    • 使用者設定檔:執行評估的使用者設定檔。 只有已登入的使用者設定檔才能執行評估。
    • 已使用的點數:本次執行預估使用的 Copilot 點數,並細分為用於產生代理回應的點數,以及用於為回應評分與分級的點數。 在 了解預估信用使用量的部分了解更多。

檢視測試案例

若要檢閱測試案例:

  1. 在執行結果頁面,選取一則交談以展開其詳細資料。

  2. 審查測試案例詳細資料:

    • 使用者訊息:發送給 Agent 的測試訊息。
    • 代理人回應:代理人實際的回應。
    • 一般品質:測驗方法中回答的得分,為 通過 或 不通過。
    • 已使用的點數:此測試案例預估使用的 Copilot 點數,方便你識別哪些情境耗用最多資源。

    請使用這些資訊來找出您的 Agent 需要改進的地方。

比較執行結果

重複執行相同評估,以比較結果、追蹤進度及 Copilot 點數消費情況:

  1. 在評估詳細資料頁面上,查看執行項目清單及其分數與時間戳記。
  2. 比較不同執行結果的分數,看看你對代理程式所做的變更是否提升或降低了效能。
  3. 比較每次運行所用的 Copilot 信用點數,以了解各次運行的消耗量,並估算大型測試套件可能需要多少信用點數。
  4. 尋找模式。 例如,如果某一類別的對話持續得分偏低,該領域可能需要更多指示或知識。

出口成果

出口評估結果供進一步分析:

  1. 在測試執行結果頁面,選取三個點 (…) >匯出測試結果。 你也可以選取特定的評估,然後選取右上角的省略號(…)>匯出測試結果。
  2. 下載結果為CSV檔,包含所有對話、回應與分數。

根據結果採取行動

根據您的評估結果: