[本文是發行前文件,可能會有所變動。]
在 建置 標籤中看起來正確的代理,在對話中仍可能失敗。 指令是指引,不是保證:模型會解讀它們,而你寫的和智能體做的之間的落差,只有當你實際跟它對話時才會顯現。 在發佈前,先使用預覽索引標籤,在網路聊天和語音中測試 Agent。
測試頻道
預覽標籤提供兩種測試代理人的方法:
- 網路聊天:一個文字聊天視窗。 這才是你應該把大部分測試時間花在這上面。 它比語音快,完整逐字稿都能看到,聊天旁邊還有推理追蹤。
- 語音電話:與 Agent 的即時語音交談。 語音存在文字永遠不會顯示的失敗模式,因此即使聊天順利通過,也要另外測試。
在 預覽 索引標籤頂端選擇 網路聊天 或 Voice Call,即可在測試頻道間切換。 對話旁邊會出現 即時逐字稿 面板。
開始之前
- 儲存您的變更。 預覽窗格會執行你已儲存的代理,而不是在 建置 標籤中的未儲存編輯。
- 了解「正確」應有的樣貌。 在發送第一則訊息前,先寫下預期的結果。
- 打開活動地圖。 它會放在聊天視窗旁邊,顯示路由、工具呼叫和主題執行流程。 這就是你分辨推理失敗和水管故障的關鍵。
- 在案例之間開始新的測試工作階段 上下文會繼續沿用,並會影響您的下一個結果。
要測試的五個層面
從最簡單的層向外延伸。 早期層故障會連鎖反應,所以要按順序解決問題。
| 階層 | 你正在測試的內容 | 如何判斷其是否正常運作 |
|---|---|---|
| 問候語與適用範圍 | 代理程式自我介紹並了解自身職責 | 開頭訊息符合你的描述;它接受範圍內的提問 |
| Routing | 協調器會選擇正確的子代理 | 活動圖顯示預期叫用的專家 |
| 工具與主題 | 動作實際上執行並回傳資料 | 回傳的是實際值,而不是預留位置或無訊息 |
| 知識 | 解答以您的資料來源為依據 | 引文會出現並符合您設定的來源 |
| 護欄 | 拒絕、升級處理及商務規則仍然適用 | Agent 會完全照指示拒絕、升級處理或標記 |
網路聊天測試
先執行正常流程
扮演一個有完整目標的真實使用者,而不是一個測試功能的人。 舉例來說,對旅行代理人來說,這意味著要從頭到尾訂一次實際的行程,而不是問「你能訂機票嗎?」
- 像真實使用者那樣自然地表達所需的達成的目標。
- 以合作用戶的身份回答代理人的問題。
- 遵循流程得出確實結論:預約、摘要、解決方法。
- 最後請他做回顧,然後把每個事實都和逐字稿核對。
那就故意弄壞它
正常流程證明 Agent 可以正常運作。 這些案例證明其可安全地失敗。
| 測試 | 要送什麼 | 應該發生什麼事 |
|---|---|---|
| 缺少細節 | 略過 Agent 需要的必填欄位 | 只會要求該欄位,且僅此一次 |
| 改變主意 | 在流程進行中途撤銷決定 | 它會更新且不會遺失先前的內容脈絡 |
| 超出範圍 | 問一些超出其領域的內容 | 拒絕並重新導向,不會即興發揮 |
| 升級 | 觸發已記錄的轉接規則 | 轉移,而不是嘗試執行工作 |
| 商務規則 | 違反既定限制,例如預算 | 它明確標示了衝突 |
| 工作階段內記憶 | 請它重複之前的一個細節 | 它能準確回憶,無需重複詢問 |
閱讀活動地圖,而非只看回覆
聊天會告訴你客服說了什麼。 Activity map 會告訴你已執行的內容。 當回應看起來不對時,地圖會告訴你該在哪裡修正:
- 呼叫了錯誤的專家 → 你的路由指示或次代理描述不夠明確。
- 正確的專家,錯誤的輸出 → 子 Agent 本身的指示有待改進。
- 工具執行了,但什麼都沒回 → 工具或主題壞了,不是提示詞壞了。
- 完全沒有工具呼叫 → 助理是根據模型回覆,而非根據你的資料。 把回覆裡的每個數值都當作未驗證。
語音測試
語音不是附加音訊的網路聊天。 其存在文字永遠不會顯示的失敗模式,因此即使聊天順利通過,也要另外測試。
- 授予麥克風存取權限,然後開始語音對話並確認狀態已進入連線、聆聽狀態。
- 自然地說完整請求,而不是逐字讀稿子。
- 觀看現場逐字稿。 如果語音辨識聽錯您的話,Agent 的回覆是在回答與您所提問題的不同問題。
- 在 Agent 講話到一半時打斷,以確認插話會停止播放並開始聆聽。
- 保持安靜幾秒鐘,確認它會禮貌地重新提示,而不是掛斷電話。
- 要求確認碼,並確認該代碼是逐字元拼讀,而不是當做單字唸出。
要聽什麼
- 長度:超過三句話的文字聽起來太長,難以跟上。
- 清單與網址:這些必須加以概述,絕不可逐項朗讀。
- 日期與數字:「星期二,3月24日」可行;「2026-03-24」則不行。
- 確認關鍵資料:應在 Agent 據此處理前,先向客戶複誦姓名、日期和代碼。
如果語音功能像聊天頻道一樣,那你頻道專屬的指示就沒發揮作用。 語音與聊天指令分別在每個代理程式中設定,位於 指令 區塊的 語音 與 聊天 標籤中。 請參閱 語音與聊天設定總覽。
Tip
多次執行關鍵情境,並且至少進行一次長時間的工作階段。 間歇性失敗仍然是失敗,而且往往正是這些問題會進到正式環境。
當某件事失敗時
- 重現它。 重新啟動一個會話,並再次跑同一路徑,並記錄它是每次失敗還是間歇性失敗。
- 使用活動圖找出它:路由、工具、知識或指示。
- 一次處理一件事。 同時更改多個指令,讓人無法判斷哪些方法有效。
- 儲存、開始新的工作階段,然後重跑 完全相同的情境。
- 重新執行你其他通過的測試案例。 指令變更會有副作用。
準備出貨清單
- 理想流程從頭到尾都能順利完成,無需額外引導。
- 最終摘要中的每個事實都可追溯到工具或知識來源實際回傳的部分。
- 使用者可見的回應中,沒有任何佔位文字出現。
- 當工具沒有回傳任何內容時,代理程式會誠實地回報失敗。
- 升級與拒絕規則都能穩定執行。
- 語音回應簡短,代碼會逐字母念出。
- 關鍵情境多次執行,包括一次長時間的工作階段。