為代理程式執行評估(預覽)

[本文章是發行前版本文件,且隨時可能變更。]

建立包含對話的測試集後,執行評估以衡量客服人員的表現。 評估程序會處理每段對話,並根據所選的測試方法產生評分結果。

Important

  • 這是一項可用於正式環境的預覽功能。
  • 生產就緒型預覽版應受補充使用條款所拘束。

先決條件

若要對代理執行評估:

  1. 在 Copilot Studio 中開啟您的代理程式。
  2. 選取評估索引標籤。
  3. 在 「評估 」下拉選單中,選擇你想執行的評估。
  4. 如果您尚未這麼做,請在測試集中新增至少一則對話。
  5. 在設定測試集面板中,驗證:
    • 評估Name已設定完成。
    • 測試方法已設定 (例如一般品質)。
  6. 選取評估以開始評估。 評估會處理測試集中的每則交談。 根據交談的數量,此流程可能需要幾分鐘時間。

Tip

重複執行同一個評估。 每次執行都會分別儲存,因此你可以比較各次執行的結果,並查看對你的代理所做的變更如何影響品質。

重新執行評估

在更改代理人的指示、知識或工具後,請重新執行評估以衡量影響:

  1. 在評估索引標籤上,從評估下拉式選單中選取您想重新執行的評估。
  2. 在近期結果底下,選取再次評估測試集,或在測試集內選取評估測試集圖示以啟動新一回合的執行。
  3. 將新一輪的結果與先前的運行進行比較,看看這些變更是否提升或降低了效能。

下載評估課程

當您的環境開啟「 評估 」標籤時,您可以下載評估執行中的會話資料,離線檢視或與審查者分享。 下載後會打包評估執行的中繼資料(評估名稱、執行識別碼、代理版本及測試方法)以及每次對話的結果(每回合的輸入、代理回應與分數)。

下載評估課程:

  1. 在評估索引標籤中,開啟您要下載執行結果的評估。
  2. 在 「最近結果」下,選取你要下載的執行記錄。
  3. 選擇 下載 以儲存會話資料。

利用下載的會話資料來:

  • 當你無法使用 Copilot Studio 時,請離線查看客服人員的回覆。
  • 分享特定的遊戲體驗給評論者以求回饋。
  • 將評估執行記錄與測試產物一併保存。

下載的工作階段資料反映的是你下載當下該次執行的狀態。 如果你想捕捉後續對代理的變更效果,請重新執行評估。