使用 Copilot Agent Kit 強化代理測試

Power CAT Copilot Agent Kit 是一款使用者友善的應用程式,讓您能驗證代理的回應。 它還包含原生功能,如 Excel 匯出與匯入,方便大量建立與更新。

設定、執行和分析

針對 Copilot Studio API(Direct Line API)進行配置並執行測試,以評估客服人員的回應與預期結果。

若要擴充結果,請透過分析交談記錄記錄 (例如確切的觸發主題名稱和意圖辨識分數) ,從 Azure 應用程式 Insights 和 Dataverse 擷取其他資料點。

對於 AI 產生的答案 (本質上是不確定的),請使用提示將產生的答案與範例答案或驗證指示進行比較。

圖表顯示參與測試和分析 Copilot Studio Direct Line API 的 Azure 和 Power Platform 元件,包括 Azure 應用程式 Insights、AI Builder 和 Dataverse。

測試類型

該工具支持以下類型的測試:

  • 回應匹配
  • 如自適應卡片之類的附件
  • 主題配對(需要 Dataverse)
  • 生成式答案 (需要 AI 產生器進行回應分析,並需要 Application Insights 以取得未產生答案原因的詳細資訊)
  • 多次迴圈測試類型是一種特殊的測試類型。 它由一組 常規 類型的測試案例組成,這些測試案例在相同的交談內容中以指定的順序執行。 使用多回合測試來端對端測試案例,以及使用生成式協調流程測試自訂代理程式。
  • 計劃驗證可讓製作者驗證其使用生成式協調流程的自訂代理程式是否包含預期的工具。 此測試類型不是評估客服專員所說的內容,而是檢查客服專員的動態計劃是否包含預期的工具(工具、動作和已連接的客服專員)到預先確定的閾值。

在 Copilot Agent Kit 中配置測試,了解更多測試類型。

測試執行結果詳細資料的螢幕擷取畫面,包括顯示所有測試執行成功率和延遲的圖形。

下一個步驟