[本文章是發行前版本文件,且隨時可能變更。]
建立包含對話的測試集後,執行評估以衡量客服人員的表現。 評估程序會處理每段對話,並根據所選的測試方法產生評分結果。
Important
- 這是一項可用於正式環境的預覽功能。
- 生產就緒型預覽版應受補充使用條款所拘束。
先決條件
- 使用 GitHub Copilot 環境建立並儲存的代理程式。 請參閱建立Agent(預覽版)。
- 至少一項含有對話的評估。 請參閱為 Agent 建立測試集 (預覽版)。
若要對代理執行評估:
- 在 Copilot Studio 中開啟您的代理程式。
- 選取評估索引標籤。
- 在 「評估 」下拉選單中,選擇你想執行的評估。
- 如果您尚未這麼做,請在測試集中新增至少一則對話。
- 在設定測試集面板中,驗證:
- 評估Name已設定完成。
- 測試方法已設定 (例如一般品質)。
- 選取評估以開始評估。 評估會處理測試集中的每則交談。 根據交談的數量,此流程可能需要幾分鐘時間。
Tip
重複執行同一個評估。 每次執行都會分別儲存,因此你可以比較各次執行的結果,並查看對你的代理所做的變更如何影響品質。
重新執行評估
在更改代理人的指示、知識或工具後,請重新執行評估以衡量影響:
- 在評估索引標籤上,從評估下拉式選單中選取您想重新執行的評估。
- 在近期結果底下,選取再次評估測試集,或在測試集內選取評估測試集圖示
以啟動新一回合的執行。 - 將新一輪的結果與先前的運行進行比較,看看這些變更是否提升或降低了效能。
下載評估課程
當您的環境開啟「 評估 」標籤時,您可以下載評估執行中的會話資料,離線檢視或與審查者分享。 下載後會打包評估執行的中繼資料(評估名稱、執行識別碼、代理版本及測試方法)以及每次對話的結果(每回合的輸入、代理回應與分數)。
下載評估課程:
- 在評估索引標籤中,開啟您要下載執行結果的評估。
- 在 「最近結果」下,選取你要下載的執行記錄。
- 選擇 下載 以儲存會話資料。
利用下載的會話資料來:
- 當你無法使用 Copilot Studio 時,請離線查看客服人員的回覆。
- 分享特定的遊戲體驗給評論者以求回饋。
- 將評估執行記錄與測試產物一併保存。
下載的工作階段資料反映的是你下載當下該次執行的狀態。 如果你想捕捉後續對代理的變更效果,請重新執行評估。