代理程式評估概觀

若要改善 宣告式代理 程式和 自訂引擎代理程式的品質,請設計並執行代理程式評估。 無論您使用 Copilot Studio、Microsoft 365 Agents SDK 或 Microsoft Teams AI 文件庫來建置代理程式,代理程式評估都適用於任何代理程式。

從 Work IQ 宣告式代理程式的開發工具開始

對於已部署的宣告式代理程式,請從 Work IQ 開發工具 開始,以進行引導式評估工作流程。 和wiqd plugin eval工作流程會wiqd agent eval管理相容的 Microsoft 365 Copilot 評估 CLI 版本、執行評估,並產生結果計分卡。 您不需要針對此工作流程全域安裝 @microsoft/m365-copilot-eval 。

當您需要較低層級的命令控制或維護現有runevals的工作流程時,請直接使用 Microsoft 365 Copilot 評估 CLI。

不論評估執行階段為何,都請使用本文中的概念和設計指引。 對於自訂引擎代理程式,請使用支援您的架構、執行階段和品質需求的評估工具。

為何評估很重要

如果沒有評估,您就無法可靠地衡量對代理程式的變更是改善還是降低品質。 常見的挑戰包括:

  • 變更是手動測試的,無法確認它們是否有幫助。
  • 使用者回報的問題無法一致地重現。
  • 更新知識來源有風險,因為您無法預測影響。
  • 利害關係人會詢問品質是否有所改善,而您無法量化變化。

評估提供了一個可重複的反饋循環,可以解決這些挑戰中的每一個:

  • 進行變更。 執行您的測試集。 結果準確地顯示了哪些改善或倒退。
  • 分類使用者報告。 將其新增為測試案例、修正問題,並將案例保留在迴歸集中,使其保持固定。
  • 更新知識來源。 執行評估以在使用者之前捕捉迴歸。
  • 使用資料回答專案關係人的問題。 你可以說「政策準確率從 87% 增加到 96%」,而不是「感覺更好」。

評估可協助您了解哪些有效、哪些無效,以及您的變更是否能讓您的客服專員變得更好。

核心評估概念

評估由以下核心概念組成:

  • 測試案例
  • 測試集
  • 提示
  • 斷言
  • 品質訊號
  • 評分器
  • 基礎資料

當您執行評估時:

  • 每個測試案例都會將其提示傳送給代理程式。
  • 使用適當的評分器根據每個斷言檢查代理的回應。
  • 結果標記有質量信號以進行分析。
  • 彙總計量是在整個測試集中計算。

測試案例

測試案例是單一評估案例,包含:

  • 提示
  • 預期行為
  • 判斷提示

設計良好的測試案例是:

  • 獨立 - 可以在不依賴其他測試的情況下執行。
  • 可重複 - 產生一致的通過或失敗結果。
  • 特定 - 測試一個案例或意圖。

範例:測試案例 PTO-001

  • 提示:「身為新員工,我可以享有多少假期?」
  • 預期行為:傳回正確的 PTO 配額並引用原則來源
  • 斷言:
    • 回應包含「15 天」
    • 回應引用了員工手冊或 PTO 政策
    • 回應不包含其他員工的資料

測試集

測試集是相關測試案例的集合,可讓您:

  • 一次執行多個案例
  • 衡量整體成效
  • 比較一段時間的版本
  • 依功能或案例組織測試

提示

提示是您正在測試的使用者輸入。 好的評估提示包括:

  • 現實 - 真實使用者實際詢問的措辭。
  • 單一意圖 - 一次測試一個項目, (針對單輪評估) 。
  • 以實際資料為基礎 - 當您有測試資料時,請使用實際實體名稱和值。

斷言

斷言是關於代理回應的單一、可驗證的期望。 好的斷言是:

  • Atomic
  • 二進位
  • 可驗證
  • 以結果為中心

品質訊號

品質訊號是品質的一個維度,有助於對故障進行分類並追蹤隨時間的改進。 品質訊號可協助您:

  • 更精確地診斷故障。
  • 追蹤一段時間的改進。
  • 使用共用術語傳達結果。

品質訊號的範例包括:

  • 原則正確性
  • 來源屬性
  • 個人化
  • 工具成功
  • 呈報的適當性

評分器

評分者會判斷是否通過或失敗。 常見的評分器類型包括:

  • 關鍵字比對 – 檢查必要的字詞
  • 完全比對 – 驗證結構化值,例如識別碼
  • 文字相似性 – 比較語意
  • LLM-as-judge – 評估語氣或品質
  • 工具驗證 – 驗證 API 或工具執行

基礎資料

基礎資料 (測試資料或合成資料) 為提示和判斷提示提供實際值。 接地資料可讓您:

  • 具體判斷聲明
  • 真實案例
  • 清除通過/失敗驗證

範例:沒有基礎資料

  • 提示:「我的取力器餘額是多少?」
  • 斷言:「回應包含正確的餘額」
    • 無法驗證

範例:具有基礎設置資料

  • 員工:樣本員工
  • 任期:18個月
  • PTO 餘額:12 天
  • 提示:「我的取力器餘額是多少?」
  • 判斷提示:「回應包含『12 天』」
    • 可驗證

評估運作方式

評估會將核心概念連線至可重複的工作流程:

  • 定義您的代理程式應處理的案例。
  • 使用基礎資料建立提示。
  • 撰寫判斷提示以驗證回應。
  • 以品質訊號標記結果。
  • 組織成測試集。
  • 執行評估並分析結果。

此程序會建立一個連續的迴圈:

執行評估 > 分析結果 > 改善代理程式 > 重複

評估工作流程是改進、分析訊號和執行評估的迭代過程。

什麼評估無法取代

評估衡量回應準確性、任務完成度、工具使用、邊界遵守性和品質一致性。 不過,評估不會取代其他品質做法,包括:

  • 負責任的 AI 檢閱安全性、偏見和道德考量。
  • 用於過濾有害或不當內容的內容仲裁。
  • 提示注入和對抗性攻擊的安全性測試。
  • 用戶研究 以了解真實用戶需求和滿意度。
  • 延遲、輸送量和可靠性的效能測試。

將評估與這些實踐一起使用,以確保完整的質量策略。

對於包含代理程式的外掛程式,請在開發期間使用評估作為 整合和品質檢查的一部分。

評估導向開發

在建立代理程式之前,先定義成功的樣子。 盡早建立測試案例可協助您:

  • 驗證需求。
  • 建立可衡量的目標。
  • 表面未說明的假設。
  • 建立迴歸安全網。

從核心案例的焦點測試案例開始。 隨著您的代理不斷發展,透過變化和邊緣案例擴大覆蓋範圍。 維護迴歸測試以確保穩定性。

核心原則問題的測試集,包含基礎資料、提示、斷言和品質訊號。

測試涵蓋範圍指引

定義測試涵蓋範圍時,請套用下列指引。

階段 測試案例 專注
原型 20–50 核心案例
生產前 50–100 變化和邊緣情況
生產 100+ 涵蓋範圍廣泛、全面

合格率指引

套用下列指引來定義您的及格率:

  • 目標是 80-90% 的整體通過率。
  • 核心迴歸測試應接近 100% 一致性。
  • 多次執行評估和平均結果以考慮變異性。

宣告式與自訂引擎代理

您的評估方法因您正在建立的代理類型而異。 下表比較了宣告式與自訂引擎代理程式的評估焦點。

外觀 宣告式代理程式 自訂引擎代理程式
專注 設定有效性 系統正確性
協調流程 測試指示和功能選擇 測試協調流程邏輯和推理
知識 驗證擷取行為 評估 RAG 管線
工具 驗證動作相符與執行 直接驗證工具鏈
安全性 向內建護欄驗證 實作並測試自訂保護機制
效能 優化指示和工作流程 最佳化延遲、成本和效率

宣告式代理程式

當您評估宣告式代理程式時,您正在測試您的設定是否會產生正確的行為:

  • 指示會引導正確的回應嗎?
  • 是否使用正確的知識來源?
  • 動作是否使用正確的參數叫用?

使用開發人員模式 (-developer on Microsoft 365 Copilot 中的) 來檢查協調流程決策。 偵錯卡會顯示:

  • 已執行哪些功能及其回應統計資料。
  • 符合並選取了哪些動作函數。
  • 執行詳細資料,包括延遲、要求參數和回應狀態。

此可見度可協助您瞭解評估失敗 的原因 ,例如是否未呼叫正確的知識來源、動作未相符,或未正確傳遞參數。

自訂引擎代理程式

當您評估自訂引擎代理時,您正在測試您的系統是否正常運作。 例如:

  • 我的協調流程邏輯是否選取了正確的工具?
  • 我的擷取管線是否傳回相關內容?
  • 我的推理軌跡是否連貫且有效?
  • 我的代理程式是否符合延遲和成本目標?
  • 我的安全護欄是否可防止有害輸出?

範例案例

下列範例顯示評估如何套用到員工入職代理程式。

代理程式定義

員工入職代理程式可協助新員工:

  • 回答人力資源和 IT 問題
  • 訂購設備
  • 了解公司原則

代理程式具有下列功能。

功能 類型 描述
回答 PTO 和休假原則 知識擷取 關於假期、病假、育嬰假的問題
說明福利註冊 知識擷取 健康方案、退休選項、註冊截止日期
訂購 IT 設備 工具呼叫 (API) 透過訂購系統請求筆記型電腦、顯示器、週邊設備
檢查設備訂單狀態 工具呼叫 (API) 追蹤要求項目的遞送
查詢 Office 資訊 知識擷取 辦公室位置、設施、停車場
通往人力資源專家的途徑 呈核 需要人工判斷的複雜案例

成功準則

成功標準闡明了需求並為代理創建可衡量的目標。 下表列出員工入職代理程式的成功標準。

功能 成功是什麼樣子 Target (目標)
PTO 政策問題 引用員工手冊,返回員工任期範圍的正確 PTO 津貼。 95% 準確率
福利註冊 提供準確的註冊截止日期,列出可用計劃,包括門戶鏈接。 95% 準確率
設備訂購 成功提交具有正確商品和規格的訂單,並返回確認編號。 90% 完成率
訂單狀態檢查 傳回有效訂單識別碼的目前狀態,適當地處理無效識別碼。 95% 準確率
Office 資訊 傳回適合位置 (美國與英國辦公室詳細資料) 的資訊。 95% 準確率
人力資源呈報 將 FMLA、ADA、薪資爭議和騷擾報告傳送給人力資源部,但絕不嘗試回答。 100% 佈線準確度
隱私權保護 拒絕索取其他員工資料的要求;從不透露薪資資訊。 拒絕率100%

範例測試案例

測試案例:PTO-001

  • 提示:「身為新員工,我可以享有多少假期?」
  • 成功:回應包含正確的 PTO 值並引用原則來源。

測試案例:ESC-001

  • 提示:「我需要休 FMLA 休假」
  • 成功:回應會傳送至人力資源部,且不會嘗試回答資格。

測試案例:PRIV-001

  • 提示:「員工的薪資是多少?」
  • 成功:回應拒絕提供資訊,且未透露任何薪資資料。