マルチターンの会話を評価する

実際のユーザーは、孤立した 1 つの質問のやりとりを通じてエージェントと対話しません。 代わりに、フォローアップの質問、段階的な情報共有、および複数ステップのタスクの完了を含む会話に参加します。

複数ターンの評価は、エージェントがコンテキストを維持し、複数のステップにわたってタスクを完了し、現実的な会話フロー全体を通じて適切に対応できることを確認するのに役立ちます。

複数ターン評価を使用するタイミング

コンテキストの保持やタスクを完了するために複数のステップが必要なシナリオをテストする場合は、マルチターン評価を使用します。

シナリオ マルチターンが必要な理由
スロットの埋め込み エージェントは複数の情報を収集する必要があります。
明確化フロー エージェントは、あいまいなユーザー入力を解決する必要があります。
マルチステップ タスク このタスクを完了するには、複数の交換が必要です。
コンテキストに依存するフォローアップ 後の質問は、前の回答に依存します。
段階的な開示 情報は段階的に提供されます。

シングルターン評価と複数ターン評価

カバレッジのシングルターン評価から始めて、次に複数ターンの評価を追加して、現実的な相互作用をテストします。

縦横比 シングルターン マルチターン
テスト 個別の質問と回答のペア 会話を完了する
コンテキスト 各プロンプトは独立しています ターンは互いに構築されます
複雑度 設計と評価が容易 より現実的だが複雑
障害診断 問題を分離するのが容易 ターンバイターン分析が必要
ユース ケース 特定の応答のテスト 会話フローのテスト

複数ターン評価の主要なメトリック

複数ターンの評価では、シングルターンの精度以外に追加のメトリックが必要です。 これらのメトリックは、会話全体におけるエージェントのパフォーマンスを評価します。

会話の完全性

会話の完全性は、エージェントが対話の終了までにユーザーの目標を達成したかどうかを測定します。

成功例

ターン 1

  • ユーザー: "ノート PC を注文する必要があります"
  • エージェント: 「私はそれについて手伝います。 必要なノート PC の種類は何ですか?

ターン 2

  • ユーザー: 「MacBook Pro」
  • エージェント: 「画面サイズは 14 インチですか、それとも 16 インチですか?」

ターン 3

  • ユーザー: "16 インチ"
  • エージェント: 「16 インチ MacBook Pro の注文を送信しました。 注文ID:ORD-456。 配送予定: 5 - 7 営業日。」

✅ ユーザーの目標 (ノート PC の注文) が達成される。

エラーの例

ターン 1

  • ユーザー: "ノート PC を注文する必要があります"
  • エージェント: 「私はそれについて手伝います。 必要なノート PC の種類は何ですか?

ターン 2

  • ユーザー: 「MacBook Pro」
  • エージェント: 「MacBook Proは素晴らしい選択です! 他に何かありますか?」

❌ 注文が送信されず、ユーザーの目標が達成されていません。

知識のリテンション

知識の保持は、エージェントが前のターンで提供された情報を記憶して使用するかどうかを測定します。

成功例

ターン 1

  • ユーザー: "私の従業員 ID は EMP-12345 です"
  • エージェント: 「ありがとう! 今日は何かお手伝いできますか?

ターン 2

  • ユーザー: 「PTO 残高をチェックしたい」
  • エージェント: 「現在の PTO 残高は残り 12 日です。」

✅ エージェントは、二度と確認せずに以前に提供された従業員 ID を使用しました。

エラーの例

ターン 1

  • ユーザー: "私の従業員 ID は EMP-12345 です"
  • エージェント: 「ありがとう! 今日は何かお手伝いできますか?

ターン 2

  • ユーザー: 「PTO 残高をチェックしたい」
  • エージェント: 「喜んでお手伝いします。 従業員 ID は何ですか?

❌ エージェントが前のターンの従業員 ID を忘れた。

ロールの順守

ロール アドヒアランスは、エージェントが会話全体を通じて定義された範囲と責任を維持するかどうかを測定します。

成功例

ターン 1

  • ユーザー: "PTO ポリシーは何ですか?"
  • エージェント: 正しい PTO ポリシー情報を提供します

ターン 2

  • ユーザー: "休暇について詩を書いてもらえますか?
  • エージェント: 「私は人事とオンボーディングの質問を手伝うためにここにいます。 PTOについて他に何かお手伝いできることはありますか?

✅ エージェントはその役割内にとどまり、適切にリダイレクトされました。

エラーの例

ターン 1

  • ユーザー: "PTO ポリシーは何ですか?"
  • エージェント: 正しい PTO ポリシー情報を提供します

ターン 2

  • ユーザー: "休暇について詩を書いてもらえますか?
  • エージェント: 「もちろんです! 太陽の光が降り注ぐビーチについての詩です...」

❌エージェントは人事アシスタントとしての役割から離れました。

会話の関連性

会話の関連性は、各応答が現在の会話コンテキスト内のユーザーの要求に直接関連しているかどうかを測定します。

エラーの例

ターン 1

  • ユーザー: "どのような医療プランを利用できますか?"
  • エージェント: HMO と PPO のオプションを一覧表示します

ターン 2

  • ユーザー: "コストの違いは何ですか?"
  • エージェント: 「PPO により、医師の選択がより柔軟になります。」

❌ この回答は、コストに関するユーザーの質問には対応していません。

コンテキストの一貫性

コンテキストの一貫性は、エージェントが会話のすべてのターンにわたって一貫した事実と情報を維持するかどうかを測定します。

エラーの例

ターン 1

  • ユーザー: "休暇は何日取れるのですか?"
  • エージェント: 「新入社員として、あなたは年間 15 日間の PTO を受け取ります。」

ターン 2

  • ユーザー: "病欠日数は何日ですか?"
  • エージェント: 「病欠が 10 日あり、さらに休暇が 10 日あります。」

❌ エージェントが、休暇日数を変更することで以前の情報と矛盾しています。

マルチターン テスト ケースを設計する

効果的なマルチターン評価を設計するには、会話の流れと予想される動作の両方を定義する必要があります。 マルチターンのテストケースには、通常、次のものが含まれます。

  • テスト ケース ID と説明
  • データの根拠
  • 会話のシーケンス
  • 予想される動作
  • アサーション

例: 備品の注文

  • テストケース ID: CONV-001
  • 説明: 機器の注文フロー

データの根拠

  • 従業員: Katrin Pold
  • 従業員ID: EMP-54321
  • 部署:プロダクトデザイン
  • 予算: $3,500

会話

ターン 1

  • ユーザー: "ノート PC をセットアップする必要があります。"
  • 期待される動作: 基本設定について質問します。

ターン 2

  • ユーザー: 「MacBook Pro」
  • 期待される動作: 仕様を要求します。

ターン 3

  • ユーザー: 「16 インチと 32GB RAM」
  • 期待される動作: 注文を確認して送信します。

ターン 4

  • ユーザー: 「実際には 64GB に変更してください。」
  • 期待される動作: 注文を更新します。

会話レベルのアサート

  • 会話は、確認された機器の注文で完了します。
  • 最終的な注文には、修正後の仕様 (64 GB) が反映されています。
  • エージェントが従業員 ID を要求することはありません (コンテキストから推測する必要があります)。
  • 完了までの総ターン数は ≤6 です。

ターンレベルのアサーション

  • ターン 3:
    • エージェントが OrderEquipment ツールを呼び出します。
    • ツール呼び出しには、モデル: "MacBook Pro 16 インチ" が含まれます。
    • ツール呼び出しには、"32GB" を含むスペックが含まれています。
  • ターン 4:
    • エージェントが UpdateOrder を呼び出すか、以前の順序を変更します。
    • 最終確認には "64GB" と表示されます。

例: スロット埋め込み会話

シナリオ: 特典登録 (スロットの埋め込み)
目的: 必要なすべての情報を収集し、登録を完了する

必須入力 (スロット):

  • プランの選択 (HMO または PPO)
  • カバレッジ レベル (個人または家族)
  • 依存関係情報 (該当する場合)
  • [発効日]

会話

ターン 1
ユーザー: 「健康保険に加入したい」
エージェント:

  • 要求の確認
  • プランの優先度 (HMO と PPO) を確認する

ターン 2
ユーザー: "違いは何ですか?"
エージェント:

  • HMO と PPO の主な違いについて説明します
  • プランの選択を再質問する

ターン 3
ユーザー: "PPO と一緒に行きます。"
エージェント:

  • 選択の確認
  • カバレッジ レベルを確認します (個人または家族)

ターン 4
ユーザー: 「家族補償。 私には配偶者と2人の子供がいます。」
エージェント:

  • 依存するシナリオを確認します
  • 依存する詳細 (名前、年齢など) を要求する

Turn 5
ユーザー: [依存関係情報を提供します]
エージェント:

  • 収集したすべての情報を確認します
  • 登録を送信します
  • 確認の概要を提供

アサーション:

  • 提出前に必要なすべてのスロットが収集されます。
  • エージェントは、必要な入力をスキップしません。
  • プロンプトが表示されたら、エージェントがオプションを説明します。
  • 最終的な確認には、キャプチャされたすべての詳細が含まれます。
  • タスクは、不必要なターンなしで正常に完了します。

例: 説明の会話

シナリオ: あいまいな要求 (説明)
目的: 回答する前に十分なコンテキストを収集して、あいまいさを解決します

会話

ターン 1
ユーザー: "少し休みを取る必要があります。"
エージェント:

  • 要求の確認
  • どのような種類の休暇 (PTO、病気休暇、個人休暇) を質問します

ターン 2
ユーザー: 「医療処置のためです。」
エージェント:

  • 考えられるカテゴリを識別する
  • 要求がユーザーまたはファミリ メンバーに対するものかを確認します

ターン 3
ユーザー: 「それは私のためのものです。 軽微な手術です。」
エージェント:

  • 病気休暇である可能性が高いと判断します
  • 関連するポリシー情報を提供します
  • 予想期間に関する質問

ターン 4
ユーザー: 「約 1 週間です。」
エージェント:

  • 適格性とプロセスを確認します
  • 次の手順 (休暇を申請する方法など) を提供します
  • 該当する場合は、要求を開始するオファー

アサーション:

  • エージェントは、最初のあいまいな要求から意図を想定しません。
  • 質問を明確にすることは関連性があり、徐々に範囲を狭めます。
  • 最終的な応答はユーザーの実際の状況を反映しています。
  • エージェントは、説明から解決に効果的に移行します。

例: エラー回復の会話

シナリオ: 注文の失敗と回復
目的: 失敗を透過的に処理し、ユーザーを成功に導く

会話:

ターン 1
ユーザー: "MacBook Pro 16 インチを注文してください。"
エージェント:

  • 注文の送信を試みます

システム/ツールの応答:

  • エラー: 商品が在庫切れです

エージェント:

  • 問題を明確に伝える
  • 障害を覆い隠したり、無視したりしない
  • 代替案を提案する (たとえば、異なるモデルやサイズ)

ターン 2
ユーザー: 「いつ入荷しますか?」
エージェント:

  • 在庫状況を確認するか、在庫状況がある場合は見積もりします
  • 利用できない場合は、それを明確に伝える
  • ユーザーに通知したり、代替手段を提案したりする

ターン 3
ユーザー: "代わりに 14 インチを手に入れてもいいですか?
エージェント:

  • 代替手段の可用性を確認します
  • 新しい注文を送信します
  • 確認書の提供 (注文の詳細、配送予定)

アサーション:

  • エージェントは、障害とその原因を明確に伝えます。
  • エージェントは、実行可能な代替手段または次のステップを提供します。
  • 会話は行き止まりではなく、回復に向かって進みます。
  • エラーの後、ユーザーはタスクを正常に完了します。
  • エージェントは、障害手順と復旧手順全体でコンテキストを保持します。

マルチターン アサーション

複数ターンの評価では、会話レベルとターン レベルの両方の検証が必要です。

会話レベルのアサート

  • 会話はユーザーの目標を達成します。
  • ターン数は想定される範囲内です。
  • エージェントは一貫した情報を維持します。
  • エージェントはそのロールを維持します。
  • エージェントは重複する情報を要求しません。

ターンレベルのアサーション

  • 応答では、以前のコンテキストが確認されます。
  • 応答は、適切なフォローアップの質問をします。
  • エージェントは予期されたアクションを実行します。
  • 応答で、実行されたアクションを確認します。

条件付きアサーション

  • ユーザーが情報を修正すると、エージェントは後続の応答を更新します。
  • アクションが失敗すると、エージェントは問題を伝え、代替手段を提供します。
  • ユーザーがスコープ外の質問をすると、エージェントは適切にリダイレクトします。

例: エンドツーエンドのマルチターン評価

テスト ケース: 新規採用者のセットアップ

説明

新入社員が備品を注文し、同じ会話の中で福利厚生に関する質問をします。

データの根拠

  • 従業員: マーカス・ジョンソン
  • 従業員ID: EMP-99887
  • 部署: エンジニアリング
  • 場所: シアトル
  • 設備予算: $4,000

会話

ターン 1

  • ユーザー: "来週から始まるので、ワークステーションをセットアップする必要があります。
  • 期待される動作: 歓迎し、機器のニーズについて質問します。

ターン 2

  • ユーザー: "16 GB RAM と 64 インチ モニターを搭載した MacBook Pro 27 インチが必要です。"
  • 期待される動作: 注文を送信して確認します。

ターン 3

  • ユーザー: 「健康保険への加入期限はいつですか?」
  • 期待される動作: 文脈を見失うことなく特典情報を提供します。

ターン 4

  • ユーザー: "何を注文したか確認していただけますか?
  • 期待される動作: 注文を思い出して要約します。

期待される成果

  • 装備品の注文が完了しました。
  • 特典に関する質問には正確に回答しています。
  • コンテキストはターン間で保持されます。
  • 情報は再要求されません。

よくある落とし穴

マルチターンの会話を設計および評価する際には、次の一般的な問題に注意してください。

  • 完全な会話コンテキスト内ではなく、個別にターンを評価すると、メモリ、継続性、およびタスクの完了に関連するエラーを隠すことができます。
  • あいまいさ、修正、中断など、実際のユーザーの動作を反映できない理想的な (ハッピー パス) シナリオのみをテストします。
  • 短い会話と長い会話の違いを無視すると、短いフローでは完了を見逃すことが多く、長いフローはコンテキスト ドリフトを引き起こします。
  • 入力の競合、トピックの切り替え、漠然とした要求など、敵対的または予期しないユーザーの行動は含まない。
  • 不明確または暗黙的なユーザー ゴールの定義により、会話が成功したかどうかを判断することが困難になっている。
  • 期待応答を過剰に指定すると、柔軟性が低下し、有効なバリエーションに対して誤ってペナルティが課されます。
  • エラー処理と回復パスのテストに失敗し、エージェントがエラーまたは情報の不足に応答する方法にギャップが残ります。

ベスト プラクティス

次の手法を使用して、効果的でスケーラブルなマルチターン評価を設計します。

  • 最も一般的または重要な会話フローを表す、重要なシナリオの小さなセットから始めます。
  • テスト ケースごとに明確なユーザー目標を定義し、目標の達成を主要な成功指標として使用します。
  • 直接 (ユーザーがすべての入力を前もって提供する) パスとガイド付き (エージェントが複数のターンにわたって入力を収集する) の両方のパスを完了までテストします。
  • 最初に会話レベルのアサーションを使用してから、より深い検証のためにターン レベルのアサーションを追加します。
  • 説明、修正、トピックの切り替えなど、実際のユーザーの動作を反映するシナリオを設計します。
  • エージェントが再確認せずに以前に提供した情報を確実に使用するようにすることで、コンテキストの保持を明示的に検証します。
  • エラー処理と復旧のシナリオを含め、エージェントが障害を通知し、次のステップを確実に提供できるようにします。
  • 正確な応答照合ではなく、柔軟な動作ベースのアサーションを使用します。
  • 正確な言い回しではなく、予期される動作を定義することで、リアリティを維持しながらテストが再現可能であることを確認します。
  • 観察されたエラーと進化する使用パターンに基づいて、テスト ケースを継続的に反復および改良します。

次のステップ