[この記事はプレリリース ドキュメントであり、変更されることがあります。]
ビルドタブで正しく見えるエージェントでも会話で失敗することがあります。 指示は保証ではなく指針です。モデルが解釈し、あなたが書いたこととエージェントの行動の間のギャップは、実際に話しかけたときにしか現れません。 プレビュー タブを使って、公開前にウェブチャットと音声の両方でエージェントをテストしてください。
テストチャンネル
プレビュータブでは、エージェントをテストするための2つの方法が提供されています。
- Web チャット:テキストベースのチャットパネルです。 ここにテスト時間の大半を費やすべきです。 音声よりも速く、全文の書き起こしが見え、チャットと一緒に推論過程も得られます。
- ボイスコール:エージェントとのライブ音声通話。 音声にはテキストでは決して表面化しない失敗モードがあるので、チャットがきれいに通過しても別途テストしてください。
プレビュータブの上部で「Web チャット」または「Voice Call」を選択してテストチャンネルを切り替えます。 会話の横に ライブトランスクリプト パネルが表示されます。
始める前に
- 変更を保存します。 プレビューペインは保存済みのエージェントを実行し、ビルド タブの未保存の編集は実行しません。
- 「正しい」とは何かを知っておきましょう。 最初のメッセージを送る前に、期待される結果を書き出してください。
- アクティビティマップを開きます。 チャットの横にあり、ルーティング、ツール呼び出し、トピック実行などが表示されます。 それは、推論の失敗と基盤の故障を見分ける方法です。
- シナリオ間で新しいテストセッションを開始しましょう。 文脈が引き継がれ、次の結果を汚染します。
テストすべき5つの層
最もシンプルな層から外側へと進めていきます。 初期のレイヤーで不具合が連鎖的に起こるので、問題を順番に修正しましょう。
| レイヤー | テスト対象 | 正常に動作するかを確認する方法 |
|---|---|---|
| 挨拶と適用範囲 | エージェントは自己紹介し、自分の役割を理解します | 冒頭のメッセージはあなたの説明に一致します。範囲内の依頼を受け付けています |
| Routing | オーケストレーターは適切なサブエージェントを選ぶ | 活動マップは、想定される専門家の呼び出しを示しています |
| ツールとトピック | アクションは実際に実行され、データを返します | 実際の値が戻ってきます。プレースホルダーやサイレントではありません |
| 知識 | 答えはあなたの情報源に基づいています | 引用は表示され、設定されたソースと一致します |
| ガードレール | 拒否、エスカレーション、ビジネス ルールの保留 | 担当者は指示通りに断ったり、エスカレーションしたり、フラグを立てたりします |
ウェブチャットでのテスト
まずはハッピー パスを実行する
機能を調べるテスターではなく、明確な目標を持つ現実的なユーザーを演じてください。 例えば、旅行代理店の場合、「フライトを予約できますか?」と尋ねるのではなく、実際の旅行をエンド・トゥ・エンドで予約することを意味します。
- 実際のユーザーのように自然に目標を開いてください。
- 協力的なユーザーとしてエージェントの質問に答えてください。
- フローに沿って進み、最終的に具体的な結果、つまり予約、要約、解決に至ります。
- 最後に要約を求め、そのすべての事実をトランスクリプトと照らし合わせてください。
ならわざと壊すんだ
ハッピー パスは、エージェントが正常に機能することを証明しています。 これらのシナリオは、フェイルセーフであることを証明しています。
| Test | 送るもの | 何が起こるべきか |
|---|---|---|
| 詳細がありません | エージェントが必要とする必須項目をスキップしてください | まさにそのフィールドを一度だけ求めます |
| 考えの変化 | フローの途中で決定を覆す | 以前の文脈を失うことなく更新されます |
| 対象範囲外 | その領域外のことを質問してください | 即興で対応することなく、拒否して方向転換する |
| エスカレーション | 文書化されたハンドオフ ルールをトリガーする | タスクを試みる代わりに別の処理に回す |
| ビジネス ルール | 予算などの定められた上限を超えること | それは競合を明確に示しています |
| セッション内メモリ | AIに先ほどの詳細を繰り返すように頼んでください | 再度尋ねることなく、正確に思い出す |
返信だけでなく、アクティビティマップを読みましょう
チャットはエージェントが何と言ったかを伝えます。 活動マップは何が行われたかを教えてくれます。 応答がおかしいと思った場合、マップはどこで修正すべきか教えてくれます:
- 誤った専門家が呼び出された → ルーティング指示またはサブエージェントの説明が曖昧です。
- 適切なスペシャリスト、不適切な出力 → サブエージェント自身の指示も改善が必要です。
- ツールは実行されましたが、何も返しませんでした → ツールまたはトピックが壊れており、プロンプトの問題ではありません。
- ツール呼び出しがまったくない → エージェントはデータではなく、モデルの応答を返しました。 その返信のすべての値は未検証とみなしてください。
音声でのテスト
「Voice」は音声付きのウェブチャットではありません。 テキストが表示されない失敗モードもあるため、チャットが正常に通過した場合でも、別途テストしてください。
- マイク アクセスを許可し、音声会話を開始して、状態が接続中でリスニング状態になることを確認します。
- 台本を 1 語ずつ読むのではなく、自然な口調で要求全体を伝えます。
- ライブの書き起こしをご覧ください。 音声認識が誤って聞き取った場合、エージェントの返答はあなたが尋ねた質問ではなく、別の質問に答えることになります。
- エージェントの話の途中で中断し、バージインして再生を止めて聞いているか確認します。
- 数秒間静かにして、電話を切るのではなく丁寧に再促してくれるか確認してください。
- 確認コードを聞き取り、単語として読まれるのではなく、1 文字ずつ綴られていることを確認します。
聞くべきこと
- 長さ:3文以上は耳で追うには長すぎます。
- リストとURLは要点化し、項目ごとに読み上げてはいけません。
- 日付と数字:「火曜日、3月24日」は使えます。「2026-03-24」は使えません。
- 重要なデータの確認: エージェントが対応する前に、名前、日付、コードを復唱してください。
もしSpeechがチャットチャンネルのように振る舞うなら、チャンネル固有の指示が役割を果たしていないということです。 音声およびチャットに関する指示は、各エージェントの指示セクションにある音声タブとチャット タブで個別に設定します。 音声とチャットの設定の概要をご覧ください。
Tip
クリティカルシナリオを複数回実行し、少なくとも1回は長時間のセッションを実行しましょう。 断続的なエラーもやはりエラーであり、それらが本番環境に影響を与えます。
何かが失敗したとき
- それを再現します。 新しいセッションを開始し、同じパスを再度実行して、毎回失敗するか、断続的に失敗するかを確認して記録してください。
- 活動マップ (経路、ツール、知識、または手順) を使用して、それを見つけます。
- 一度に一つずつ解決しましょう。 複数の指示を同時に変えると、何がうまくいったのか分かりません。
- セーブして新しいセッションを始め、まったく同じシナリオを再実行します。
- 成功している他のシナリオをもう一度実行してください。 指示の変更には副作用があります。
出荷準備チェックリスト
- ハッピー パスは、誰の手助けもなしに、最初から最後まで完遂されます。
- 最終的な要約のすべての事実は、ツールやサポート情報ソースが実際に返したものまで追跡できます。
- ユーザーが見える応答のどこにもプレースホルダーテキストは一切表示されません。
- ツールが何も返さない場合、エージェントは正直に失敗を報告します。
- エスカレーションや拒否ルールは確実に発動します。
- 音声の返答は短く、コードは1文字ずつ読み上げられます。
- 重要なシナリオは複数回実行され、その中には長いセッションも含まれていました。