預覽與測試代理程式(客戶對話)(預覽)

[本文是發行前文件,可能會有所變動。]

在 建置 標籤中看起來正確的代理,在對話中仍可能失敗。 指令是指引,不是保證:模型會解讀它們,而你寫的和智能體做的之間的落差,只有當你實際跟它對話時才會顯現。 在發佈前,先使用預覽索引標籤,在網路聊天和語音中測試 Agent。

測試頻道

預覽標籤提供兩種測試代理人的方法:

  • 網路聊天:一個文字聊天視窗。 這才是你應該把大部分測試時間花在這上面。 它比語音快,完整逐字稿都能看到,聊天旁邊還有推理追蹤。
  • 語音電話:與 Agent 的即時語音交談。 語音存在文字永遠不會顯示的失敗模式,因此即使聊天順利通過,也要另外測試。

在 預覽 索引標籤頂端選擇 網路聊天 或 Voice Call,即可在測試頻道間切換。 對話旁邊會出現 即時逐字稿 面板。

開始之前

  • 儲存您的變更。 預覽窗格會執行你已儲存的代理,而不是在 建置 標籤中的未儲存編輯。
  • 了解「正確」應有的樣貌。 在發送第一則訊息前,先寫下預期的結果。
  • 打開活動地圖。 它會放在聊天視窗旁邊,顯示路由、工具呼叫和主題執行流程。 這就是你分辨推理失敗和水管故障的關鍵。
  • 在案例之間開始新的測試工作階段 上下文會繼續沿用,並會影響您的下一個結果。

要測試的五個層面

從最簡單的層向外延伸。 早期層故障會連鎖反應,所以要按順序解決問題。

階層 你正在測試的內容 如何判斷其是否正常運作
問候語與適用範圍 代理程式自我介紹並了解自身職責 開頭訊息符合你的描述;它接受範圍內的提問
Routing 協調器會選擇正確的子代理 活動圖顯示預期叫用的專家
工具與主題 動作實際上執行並回傳資料 回傳的是實際值,而不是預留位置或無訊息
知識 解答以您的資料來源為依據 引文會出現並符合您設定的來源
護欄 拒絕、升級處理及商務規則仍然適用 Agent 會完全照指示拒絕、升級處理或標記

網路聊天測試

先執行正常流程

扮演一個有完整目標的真實使用者,而不是一個測試功能的人。 舉例來說,對旅行代理人來說,這意味著要從頭到尾訂一次實際的行程,而不是問「你能訂機票嗎?」

  1. 像真實使用者那樣自然地表達所需的達成的目標。
  2. 以合作用戶的身份回答代理人的問題。
  3. 遵循流程得出確實結論:預約、摘要、解決方法。
  4. 最後請他做回顧,然後把每個事實都和逐字稿核對。

那就故意弄壞它

正常流程證明 Agent 可以正常運作。 這些案例證明其可安全地失敗。

測試 要送什麼 應該發生什麼事
缺少細節 略過 Agent 需要的必填欄位 只會要求該欄位,且僅此一次
改變主意 在流程進行中途撤銷決定 它會更新且不會遺失先前的內容脈絡
超出範圍 問一些超出其領域的內容 拒絕並重新導向,不會即興發揮
升級 觸發已記錄的轉接規則 轉移,而不是嘗試執行工作
商務規則 違反既定限制,例如預算 它明確標示了衝突
工作階段內記憶 請它重複之前的一個細節 它能準確回憶,無需重複詢問

閱讀活動地圖,而非只看回覆

聊天會告訴你客服說了什麼。 Activity map 會告訴你已執行的內容。 當回應看起來不對時,地圖會告訴你該在哪裡修正:

  • 呼叫了錯誤的專家 → 你的路由指示或次代理描述不夠明確。
  • 正確的專家,錯誤的輸出 → 子 Agent 本身的指示有待改進。
  • 工具執行了,但什麼都沒回 → 工具或主題壞了,不是提示詞壞了。
  • 完全沒有工具呼叫 → 助理是根據模型回覆,而非根據你的資料。 把回覆裡的每個數值都當作未驗證。

語音測試

語音不是附加音訊的網路聊天。 其存在文字永遠不會顯示的失敗模式,因此即使聊天順利通過,也要另外測試。

  1. 授予麥克風存取權限,然後開始語音對話並確認狀態已進入連線、聆聽狀態。
  2. 自然地說完整請求,而不是逐字讀稿子。
  3. 觀看現場逐字稿。 如果語音辨識聽錯您的話,Agent 的回覆是在回答與您所提問題的不同問題。
  4. 在 Agent 講話到一半時打斷,以確認插話會停止播放並開始聆聽。
  5. 保持安靜幾秒鐘,確認它會禮貌地重新提示,而不是掛斷電話。
  6. 要求確認碼,並確認該代碼是逐字元拼讀,而不是當做單字唸出。

要聽什麼

  • 長度:超過三句話的文字聽起來太長,難以跟上。
  • 清單與網址:這些必須加以概述,絕不可逐項朗讀。
  • 日期與數字:「星期二,3月24日」可行;「2026-03-24」則不行。
  • 確認關鍵資料:應在 Agent 據此處理前,先向客戶複誦姓名、日期和代碼。

如果語音功能像聊天頻道一樣,那你頻道專屬的指示就沒發揮作用。 語音與聊天指令分別在每個代理程式中設定,位於 指令 區塊的 語音 與 聊天 標籤中。 請參閱 語音與聊天設定總覽。

Tip

多次執行關鍵情境,並且至少進行一次長時間的工作階段。 間歇性失敗仍然是失敗,而且往往正是這些問題會進到正式環境。

當某件事失敗時

  1. 重現它。 重新啟動一個會話,並再次跑同一路徑,並記錄它是每次失敗還是間歇性失敗。
  2. 使用活動圖找出它:路由、工具、知識或指示。
  3. 一次處理一件事。 同時更改多個指令,讓人無法判斷哪些方法有效。
  4. 儲存、開始新的工作階段,然後重跑 完全相同的情境。
  5. 重新執行你其他通過的測試案例。 指令變更會有副作用。

準備出貨清單

  • 理想流程從頭到尾都能順利完成,無需額外引導。
  • 最終摘要中的每個事實都可追溯到工具或知識來源實際回傳的部分。
  • 使用者可見的回應中,沒有任何佔位文字出現。
  • 當工具沒有回傳任何內容時,代理程式會誠實地回報失敗。
  • 升級與拒絕規則都能穩定執行。
  • 語音回應簡短,代碼會逐字母念出。
  • 關鍵情境多次執行,包括一次長時間的工作階段。