品質訊號提供了一種結構化的方式來了解客服專員回應成功或失敗 的原因 。 它們幫助團隊將評估結果分組為有意義的類別、確定改進的優先級並追蹤一段時間內的進度。
本文說明如何從評估結果衍生品質訊號,以診斷問題、識別模式,以及改善 Copilot 代理程式效能。
藉由使用品質訊號,團隊可以:
- 識別重複的失敗模式
- 根據影響設定改進優先順序
- 追蹤反覆運算的效能
- 將結果清楚傳達給專案關係人
什麼是品質訊號?
品質訊號是代表評估結果模式的類別。 它們來自觀察到的行為,而不是預先定義的規則。
判斷聲明和品質訊號在評估工作流程中一起運作:
- 判斷提示決定 回應通過或失敗。
- 品質訊號將 斷言結果分組為更高層級的模式。
| 外觀 | 判斷提示 | 品質訊號 |
|---|---|---|
| 等級 | 具體且具體 | 抽象和分類 |
| 用途 | 判斷通過或失敗 | 診斷模式 |
| Quantity | 每個測試案例有許多 | 每個代理程式很少 |
| 來源 | 測試前定義 | 衍生自結果 |
| 範例 | 包含「15 天」 | 原則正確性 |
定義判斷提示之後,請從判斷提示結果衍生品質訊號,並使用這些訊號來追蹤跨案例的效能。
常見品質訊號
評估 Copilot 代理程式時,請使用下列常見品質訊號:
- 政策準確性 — 衡量回應是否與權威知識來源一致
- 來源歸因 — 衡量回應是否清楚地識別資訊來源
- 個人化 – 測量回應是否使用相關的使用者內容
- 工具準確度 – 測量工具呼叫是否正確執行
- 工具回應處理 — 測量代理是否正確解譯工具輸出
- 呈報的適當性 — 衡量請求是否在需要時路由到人工支援
- 隱私權保護 – 衡量敏感性資訊是否受到保護
- 動作啟用 — 衡量回應是否提供明確的後續步驟
訊號評估與常見原因
下表列出每個品質訊號的指標。
| 品質訊號 | 通過指標 | 失敗指標 | 常見原因 |
|---|---|---|---|
| 原則正確性 | 正確的值和日期 正確的原則詳細資料 與目前的文件一致 |
過時或不正確的值 相互衝突或捏造的詳細資料 |
過期或重複的文件 不正確的擷取結果 模型幻覺 |
| 來源屬性 | 特定文件或章節的參照 清除屬性陳述式 |
未提供來源 模糊或一般參照 |
缺少來源中繼資料 指示不強調出處 |
| 個人化 | 地區特定或角色特定回應 具上下文感知功能的建議 |
忽略使用者內容的一般回應 不正確的地區或角色型資訊 |
代理程式無法使用使用者內容 未依客群區隔的知識來源 |
| 刀具精度 | 正確的工具選擇 有效的參數和識別碼 已填入所有必填欄位 |
參數遺失或不正確 無效的工具輸入 |
不明確的 API 規格 不正確的參數對應 |
| 工具回應處理 | 工具結果的準確傳達 正確處理成功和錯誤狀態 |
不正確的成功宣告 忽略或誤解的工具錯誤 |
缺少錯誤處理指導 工具回應的誤解 |
| 呈報的適當性 | 敏感或複雜問題已正確路由 遵守呈報規則 |
代理程式嘗試處理不支援的案例 無法向上呈報高風險要求 |
未定義的升級準則 過於寬鬆的指示 |
| 隱私權保護 | 拒絕揭露受限制的資料 回應僅限於授權資訊 |
敏感性資料的揭露或推斷 公開受保護資訊的回應 |
弱式存取控制 隱私權指導方針不足 |
| 動作啟用 | 具體指示 連結、識別碼或連絡人詳細資料 |
模糊或不完整的指導方針 缺少可採取動作的步驟 |
知識來源中缺少程序資訊 過度摘要回應 |
如何衍生品質訊號
品質訊號源自於評估結果中的模式,而不是預先定義的清單。 若要衍生品質訊號:
- 執行一組初始評估測試案例。
- 檢閱所有測試案例中失敗的回應。
- 識別失敗中重複出現的模式。
- 將每個模式定義為品質訊號。
- 使用對應的訊號標記相關的判斷提示。
- 依訊號追蹤通過率。
品質訊號的實際應用
下列範例顯示為員工入職代理定義的品質訊號。
| 觀察 | 已識別的模式 | 品質訊號 |
|---|---|---|
| 傳回正確的 PTO 值 | 精準的知識擷取 | 原則正確性 |
| 回應中引用的來源 | 包含出處 | 來源屬性 |
| 傳回不正確的地區資訊 | 未使用內容 | 個人化 |
| 使用不正確的參數叫用的工具 | 執行錯誤 | 刀具精度 |
| 請求已適當地路由傳送至 HR | 正確呈報 | 呈報的適當性 |
| 敏感性資料幾乎暴露 | 隱私邊界風險 | 隱私權保護 |
| 回應包括後續步驟 | 可採取動作的回應 | 動作啟用 |
以下是品質訊號的具體衡量標準。
| 原則正確性 | 來源屬性 | 刀具精度 |
|---|---|---|
| 包含正確的 PTO 持續時間 | 引用權威文件 | 叫用正確的工具 |
| 包含正確的註冊截止日期 | 參考資料,特定章節 | 使用有效的參數 |
| 不參考過期的原則 | 傳回正確的結果 |
套用和傳達品質訊號
使用品質訊號來推動評估工作流程並傳達見解。 若要套用品質訊號:
標籤斷言 — 將訊號標籤新增至測試案例中的每個斷言。
測試案例: PTO-001
提示: “新員工有多少天假期?”斷言:
回應包含「15 天」。
訊號:原則正確性該回應引用了《員工手冊》。
訊號:來源歸因回應提到 <了 2 年任期。
信號:個人化
計算指標 — 依訊號彙總通過和失敗結果。
品質訊號 測試案例 通行證 失敗 通過率 原則正確性 25 23 2 92% 來源屬性 25 20 5 80% 個人化 15 11 4 73% 刀具精度 12 10 2 83% 呈核的適當性 8 8 0 100% 隱私權保護 10 10 0 100% 確定問題的優先順序 – 專注於通過率低或影響力大的訊號。
- 個人化 (73%) - 差距最大,請先進行調查。
- 來源歸屬 (80%) - 第二優先。
- 刀具精度 (83%) - 第三優先。
- 原則正確性 (92%) - 次要問題,監視。
追蹤進度 — 監控跨代理程式版本的訊號傳遞率。
- 版本 1.0 > 、1.1 > 、1.2 > 、1.3
- 個人化:73% > 78% > 85% > 91% (改善)
- 來源歸因:80% > 82% > 88% > 90% (改善)
- 工具精度:83% > 85% > 84% > 92% 在 v1.2 回歸) 後 (提高
品質訊號可轉換專案關係人的對話。 這種特殊性可以實現有針對性的修復、定量進度追蹤和更清晰的利害關係人溝通。
沒有訊號時: 代理程式效能不佳。 用戶在抱怨。
有訊號: 原則準確率為 92%,我們正在達到目標。 但在上次更新後,個人化下降到 73%。 具體來說,英國員工正在獲取美國假期資訊。 我們已找出根本原因:內容擷取未傳遞位置資料。 正在為下一個版本進行修正。
依客服專員類型排列的品質訊號
品質訊號和優先順序會根據您評估的客服專員類型而有所不同。
| 代理程式類型 | Signal | 優先順序 |
|---|---|---|
| 以知識為基礎 | 原則正確性 | 高 |
| 來源屬性 | 高 | |
| 完整性 | 中等 | |
| 個人化 | 中等 | |
| 工具呼叫 | 刀具精度 | 高 |
| 工具回應處理 | 高 | |
| 動作啟用 | 高 | |
| 錯誤復原 | 中等 | |
| 混合式 | 路由精確度 | 高 |
| 知識訊號 | 中等 | |
| 工具訊號 | 中等 | |
| 呈報的適當性 | 中等 | |
| 客戶面向 | 隱私權保護 | 高 |
| 語氣和專業 | 高 | |
| 呈報的適當性 | 高 | |
| 解析完整性 | 中等 |
避免常見的陷阱
避免下列問題,以確保您的品質訊號保持有用、一致且可操作。
使用特定訊號,而不是一般類別
過於寬泛的訊號,例如「準確性」、「實用性」或「相關性」,無法提供可採取動作的深入解析。 通用訊號使得確定根本原因或確定改進優先順序變得困難。
相反,應根據評估結果中特定的、可觀察的模式來定義訊號。
- 避免: 準確性
- 偏好:原則正確性、來源屬性
避免過於細微的訊號
建立太多範圍狹窄的訊號會增加複雜性,但無法提高洞察力。 過多的粒度會分散分析,並使追蹤有意義的趨勢變得更加困難。
相反,將相關行為分組為更廣泛的、可重複使用的訊號類別。
- 避免: PTO 準確度、福利準確度、假日準確度
- 偏好: 原則正確性
避免模糊的及格與不及格準則
模糊的訊號定義,例如「正確性」,缺乏可衡量的標準。 如果沒有明確的標準,結果就會不一致且難以解釋。
相反,使用與評估結果相關的明確、可觀察的行為來定義訊號。
- 避免:「回應正確」
- 偏好:「回應包含正確的值並引用權威來源」