エージェントのプレビューとテスト(カスタマー会話)(プレビュー)

[この記事はプレリリース ドキュメントであり、変更されることがあります。]

ビルドタブで正しく見えるエージェントでも会話で失敗することがあります。 指示は保証ではなく指針です。モデルが解釈し、あなたが書いたこととエージェントの行動の間のギャップは、実際に話しかけたときにしか現れません。 プレビュー タブを使って、公開前にウェブチャットと音声の両方でエージェントをテストしてください。

テストチャンネル

プレビュータブでは、エージェントをテストするための2つの方法が提供されています。

  • Web チャット:テキストベースのチャットパネルです。 ここにテスト時間の大半を費やすべきです。 音声よりも速く、全文の書き起こしが見え、チャットと一緒に推論過程も得られます。
  • ボイスコール:エージェントとのライブ音声通話。 音声にはテキストでは決して表面化しない失敗モードがあるので、チャットがきれいに通過しても別途テストしてください。

プレビュータブの上部で「Web チャット」または「Voice Call」を選択してテストチャンネルを切り替えます。 会話の横に ライブトランスクリプト パネルが表示されます。

始める前に

  • 変更を保存します。 プレビューペインは保存済みのエージェントを実行し、ビルド タブの未保存の編集は実行しません。
  • 「正しい」とは何かを知っておきましょう。 最初のメッセージを送る前に、期待される結果を書き出してください。
  • アクティビティマップを開きます。 チャットの横にあり、ルーティング、ツール呼び出し、トピック実行などが表示されます。 それは、推論の失敗と基盤の故障を見分ける方法です。
  • シナリオ間で新しいテストセッションを開始しましょう。 文脈が引き継がれ、次の結果を汚染します。

テストすべき5つの層

最もシンプルな層から外側へと進めていきます。 初期のレイヤーで不具合が連鎖的に起こるので、問題を順番に修正しましょう。

レイヤー テスト対象 正常に動作するかを確認する方法
挨拶と適用範囲 エージェントは自己紹介し、自分の役割を理解します 冒頭のメッセージはあなたの説明に一致します。範囲内の依頼を受け付けています
Routing オーケストレーターは適切なサブエージェントを選ぶ 活動マップは、想定される専門家の呼び出しを示しています
ツールとトピック アクションは実際に実行され、データを返します 実際の値が戻ってきます。プレースホルダーやサイレントではありません
知識 答えはあなたの情報源に基づいています 引用は表示され、設定されたソースと一致します
ガードレール 拒否、エスカレーション、ビジネス ルールの保留 担当者は指示通りに断ったり、エスカレーションしたり、フラグを立てたりします

ウェブチャットでのテスト

まずはハッピー パスを実行する

機能を調べるテスターではなく、明確な目標を持つ現実的なユーザーを演じてください。 例えば、旅行代理店の場合、「フライトを予約できますか?」と尋ねるのではなく、実際の旅行をエンド・トゥ・エンドで予約することを意味します。

  1. 実際のユーザーのように自然に目標を開いてください。
  2. 協力的なユーザーとしてエージェントの質問に答えてください。
  3. フローに沿って進み、最終的に具体的な結果、つまり予約、要約、解決に至ります。
  4. 最後に要約を求め、そのすべての事実をトランスクリプトと照らし合わせてください。

ならわざと壊すんだ

ハッピー パスは、エージェントが正常に機能することを証明しています。 これらのシナリオは、フェイルセーフであることを証明しています。

Test 送るもの 何が起こるべきか
詳細がありません エージェントが必要とする必須項目をスキップしてください まさにそのフィールドを一度だけ求めます
考えの変化 フローの途中で決定を覆す 以前の文脈を失うことなく更新されます
対象範囲外 その領域外のことを質問してください 即興で対応することなく、拒否して方向転換する
エスカレーション 文書化されたハンドオフ ルールをトリガーする タスクを試みる代わりに別の処理に回す
ビジネス ルール 予算などの定められた上限を超えること それは競合を明確に示しています
セッション内メモリ AIに先ほどの詳細を繰り返すように頼んでください 再度尋ねることなく、正確に思い出す

返信だけでなく、アクティビティマップを読みましょう

チャットはエージェントが何と言ったかを伝えます。 活動マップは何が行われたかを教えてくれます。 応答がおかしいと思った場合、マップはどこで修正すべきか教えてくれます:

  • 誤った専門家が呼び出された → ルーティング指示またはサブエージェントの説明が曖昧です。
  • 適切なスペシャリスト、不適切な出力 → サブエージェント自身の指示も改善が必要です。
  • ツールは実行されましたが、何も返しませんでした → ツールまたはトピックが壊れており、プロンプトの問題ではありません。
  • ツール呼び出しがまったくない → エージェントはデータではなく、モデルの応答を返しました。 その返信のすべての値は未検証とみなしてください。

音声でのテスト

「Voice」は音声付きのウェブチャットではありません。 テキストが表示されない失敗モードもあるため、チャットが正常に通過した場合でも、別途テストしてください。

  1. マイク アクセスを許可し、音声会話を開始して、状態が接続中でリスニング状態になることを確認します。
  2. 台本を 1 語ずつ読むのではなく、自然な口調で要求全体を伝えます。
  3. ライブの書き起こしをご覧ください。 音声認識が誤って聞き取った場合、エージェントの返答はあなたが尋ねた質問ではなく、別の質問に答えることになります。
  4. エージェントの話の途中で中断し、バージインして再生を止めて聞いているか確認します。
  5. 数秒間静かにして、電話を切るのではなく丁寧に再促してくれるか確認してください。
  6. 確認コードを聞き取り、単語として読まれるのではなく、1 文字ずつ綴られていることを確認します。

聞くべきこと

  • 長さ:3文以上は耳で追うには長すぎます。
  • リストとURLは要点化し、項目ごとに読み上げてはいけません。
  • 日付と数字:「火曜日、3月24日」は使えます。「2026-03-24」は使えません。
  • 重要なデータの確認: エージェントが対応する前に、名前、日付、コードを復唱してください。

もしSpeechがチャットチャンネルのように振る舞うなら、チャンネル固有の指示が役割を果たしていないということです。 音声およびチャットに関する指示は、各エージェントの指示セクションにある音声タブとチャット タブで個別に設定します。 音声とチャットの設定の概要をご覧ください。

Tip

クリティカルシナリオを複数回実行し、少なくとも1回は長時間のセッションを実行しましょう。 断続的なエラーもやはりエラーであり、それらが本番環境に影響を与えます。

何かが失敗したとき

  1. それを再現します。 新しいセッションを開始し、同じパスを再度実行して、毎回失敗するか、断続的に失敗するかを確認して記録してください。
  2. 活動マップ (経路、ツール、知識、または手順) を使用して、それを見つけます。
  3. 一度に一つずつ解決しましょう。 複数の指示を同時に変えると、何がうまくいったのか分かりません。
  4. セーブして新しいセッションを始め、まったく同じシナリオを再実行します。
  5. 成功している他のシナリオをもう一度実行してください。 指示の変更には副作用があります。

出荷準備チェックリスト

  • ハッピー パスは、誰の手助けもなしに、最初から最後まで完遂されます。
  • 最終的な要約のすべての事実は、ツールやサポート情報ソースが実際に返したものまで追跡できます。
  • ユーザーが見える応答のどこにもプレースホルダーテキストは一切表示されません。
  • ツールが何も返さない場合、エージェントは正直に失敗を報告します。
  • エスカレーションや拒否ルールは確実に発動します。
  • 音声の返答は短く、コードは1文字ずつ読み上げられます。
  • 重要なシナリオは複数回実行され、その中には長いセッションも含まれていました。