評価トリアージ フレームワークを実践的なシナリオを通じて適用する

これらのエンドツーエンドのウォークスルーは、評価トリアージ フレームワークの各レイヤーが実際にどのように連携して機能するかを示します。 それぞれのシナリオは異なる評価状況から始まり、独自の診断プロセスをたどります。

ウォークスルーではフレームワークの適用方法をステップバイステップで示しています。 これらの事例を活用して、実際のエージェント評価シナリオにおいて、評価結果から診断、改善、検証へと進む手順を理解してください。

第 1 の評価プロセス: 初回評価の実施

初めてカスタマー サポート エージェントに対して評価スイートを実行します。 結果は次のようになります。

手順 1: スコアの解釈 (レイヤー 1)

スコア解釈表を使って閾値を調整し、どの評価セットがブロッキング閾値を下回っているかを特定します。

準備度評価: 反復します。 知識グラウンディングがブロッキング閾値を下回っています。 そこに修正対応を集中させてください。

手順 2: 失敗の優先順位付け (レイヤー 2、手順 0)

状況: 知識グラウンディングには 7 つのテスト ケースがあります。 2 件のテストケースが失敗しています: KG-003 と KG-005。 両方のテスト ケースはコア ビジネス評価セットに含まれているため、優先順位は 2 です。 2 つしかないため、両方をトリアージします。

参照: 失敗の優先順位付け(レイヤー 2、手順 0)

手順 3: KG-003 のトリアージ (レイヤー 2、手順 1～2)

テスト ケース KG-003:

• サンプル入力: 「返品ポリシーは何ですか?」
• 期待される回答:「すべての購入に対して 30 日間の返品期間を提供しています。」
• エージェントの応答:「当社の返品ポリシーでは、購入後 15 営業日以内であれば返品が可能です。」
• 評価方法: キーワード一致
• 結果: 失敗 (期待されたのは「30日」、エージェントは「15 営業日」と回答)

評価セットアップの検証(レイヤー 2 の手順 1):

分類: 評価設定の問題。 予想される回答が古くなっています。 エージェントは正しいです。 評価が誤っています。

手順 4: KG-005 のトリアージ (レイヤー 2、手順 1～2)

テスト ケース KG-005:

• サンプル入力: 「プレミアムプランには延長保証が含まれていますか?」
• 期待される回答:「プレミアム プランには 2 年間の標準保証が含まれています。」 延長保証オプションは別途購入できます。」
• エージェントの応答:「はい、プレミアム プランにはすべての部品と作業をカバーする 3 年間の延長保証が含まれています。」
• 評価方法: 意味を比較する
• 結果: 失敗 (エージェントによる保証内容の捏造)

評価セットアップの検証(レイヤー 2 の手順 1):

エージェントを診断する (レイヤー 2 の手順 2):

分類: エージェント設定の問題。 知識グラウンディングのギャップ。 エージェントは、構成されたサポート情報ソースにはない保証の詳細を提供しました。

手順 5: 是正 (レイヤー 3)

KG-003 (評価セットアップ是正):

• 変更: 期待値を「30 日間返品期間」から「15 営業日」に更新する
• 再実行: KG-003 のみ
• 期待: 合格

KG-005 (エージェント構成是正):

• 変更: システム プロンプトにグラウンディング指示を追加します:「サポート情報ソースにある情報に基づいてのみ答えてください。 情報がなければ、そう言ってください。」
• 再実行: 完全な知識グラウンディング評価セット (エージェント構成の変更により広範な影響を与える可能性があります)
• 想定: KG-005 が合格。 他のテスト ケースでは不具合が発生しないはずです。

手順 6: 検証

両方の変更が完了したら、知識グラウンディング評価セットを再度実行してください。

アセスメント: 知識グラウンディングは現在 80% のブロッキング閾値を超えています。 1 つの失敗 (KG-007) が残っていますが、準備の妨げにはなりません。 次回の反復でレビューします。

手順 7: 記録する (レイヤー 4)

失敗ログに記録します。

パターン ノート: 各評価実行前に期待値をソース文書と照合してください。 この手順を事前評価チェックリストに追加します。

準備度再確認: すべての評価セットがブロッキング閾値を超えています。

準備状況評価: 既知のギャップを持つエージェントを展開 (KG-007 が文書化され、監視計画が整備済み)。

参照: レイヤー 4: パターンを分析し、エージェントを継続的に改善する

体験 2: スコア プラトー

状況: 製品サポート エージェントで 4 回反復を行います。 4 回の反復実行すべてで事実の正確性は 78% にとどまっています。 各実行後にプロンプトを変更しましたが、結果は改善されませんでした。

手順 1: パターンをチェックする (レイヤー 4)

全 4 回の反復にわたる失敗ログを確認する:

傾向: 横ばい。 修復は実際の根本原因が対象ではありません。

参照: レイヤー 4: パターンを分析し、エージェントを継続的に改善する

手順 2: 失敗したテスト ケースを分析する

すべての反復で 6 つの持続的な失敗をレビューしてください。

集中分析: 6 件中 5 件 (83%) の失敗は同じ根本原因に関係しています: エージェントが製品マニュアルではなく FAQ ページから情報を取得しています。

手順 3: リトリアージ (レイヤー 2)

まず、失敗をエージェント設定の問題: 誤ったソースを取得したとして分類します。

プロンプトの書き換え、順序の変更、例の追加などを含む複数のエージェント設定の変更を適用します。 これらの変更によって、測定可能な改善は見られませんでした。 この時点で、プラットフォーム制限指標に照らして失敗を検証します。

再分類: この問題は取得ランキングに関連するプラットフォームの制限です。 プラットフォームはこれらのクエリに対して一貫して FAQ を製品マニュアルより優先して取得し、さらなるプロンプトや指示の変更を行っても取得動作には影響しません。

参照: レイヤー 2: エージェント失敗のトリアージ

手順 4: 是正 (レイヤー 3 — プラットフォーム制限)

失敗をプラットフォームの制限と分類した場合は、エージェントの設定変更ではなく、回避策や文書化による対応に重点を置いてください。

参照: プラットフォーム制限応答

回避戦略: 影響を最小限に抑えるため、以下のいずれかの緩和策を実施してください。

• ユーザーの問い合わせで使われる語彙に合わせて、より明確なセクション見出しで製品マニュアルを再構築しましょう。
• マニュアルの重要な製品仕様を FAQ に複製し、冗長な検索経路を作成します。
• マニュアルの内容をリファクタリングし、各セクションが単一の明確に定義された質問に答える形にして、検索セグメントの一致精度を向上させましょう。

これらのアプローチは、プロンプトや指示の変更に頼らず、検索行動に影響を与えることを目指しています。

エスカレーションとトラッキング: 制限が続く場合は、課題を文書化し、プラットフォーム チームにエスカレーションしてください。

• この制限事項を次のようにドキュメントします: 「<製品仕様>に関するクエリを実行すると、製品マニュアル (最終更新日: <日付>、<N> ページ) には正確な情報が記載されているにもかかわらず、常に FAQ ページ (最終更新日: <日付>、<n> ページ) が検索結果として表示される。」
• 裏付けとなる証拠を提供する: クエリ、期待されるソース、実際のソースを示す複数のテスト ケースを含めます。
• 検査のために提出してください。
• 記録した制限事項と証拠をプラットフォーム チームに共有し、追跡やフォローアップのために活用してください。

手順 5: 検証

製品マニュアルを再構築し、冗長な FAQ 項目を追加した後、関連する評価セットを再実行して影響を確認します。

評価: この回避策は全体的なパフォーマンスを向上させます。 1 件の失敗 (FA-019) が残っています。 クエリがあまりにも曖昧なため、再構成されたコンテンツでも正しいソースを確実に取得することはできません。 この失敗は既知の制限として記録されます。

手順 6: 記録

失敗ログを最終的な分類と結果が反映する形で更新してください。

重要なポイント: 複数のプロンプトや指示を変更しても評価スコアが変化しない場合、根本原因はプロンプトにある可能性は低いです。 プロンプト エンジニアリングにさらに投資する前に、インフラストラクチャやプラットフォームの挙動を検証してください。

事例 3: 更新後の回帰

状況: トーンと共感を向上させるためにシステム プロンプトを更新しました。 トーンスコアは上昇したものの、事実の正確性は許容基準を下回り、後退が見られました。

変更前:

システム プロンプトに次の指示を追加しました:「必ず顧客の懸念に共感を示し、回答前に顧客の経験を認めてください。」 すべての回答は、顧客の体験を検証することから始めましょう。」

変更後:

手順 1: 解釈 (レイヤー 1)

事実の正確性は現在、80% のブロッキング閾値を下回っています。 この変更により回帰が生じ、運用準備が妨げられます。

参照: レイヤー 1: スコアを解釈し、失敗を特定する

手順 2: パターンをチェックする (レイヤー 4)

シグナル横断パターン一致: トーンが向上する一方で正確性は低下します。

根本原因の示唆: 指示が矛盾します。

新たに追加されたトーンに関するガイダンスは、モデルの注意を巡って精度に関する指示と競合します。

参照: レイヤー 4: パターンを分析し、エージェントを継続的に改善する

手順 3: 新たな失敗のトリアージ (レイヤー 2)

変更前は合格していたが、今は失敗している事実正確性テスト ケースをレビューしましょう。

テスト ケース FA-007:

• 入力:「ファイルの最大アップロード サイズは何ですか?」
• 期待値:「最大ファイル アップロード サイズは標準アカウントの場合 25MB、エンタープライズ アカウントの場合 100MB です。」
• 前のエージェント:「標準アカウントの最大ファイル アップロード サイズは 25MB、エンタープライズ アカウントでは 100MB です。」
• 後のエージェント: ファイルのアップロード サイズについてご心配されるお気持ち、よくわかります。大切な書類をアップロードしようとすると、ストレスを感じることもありますよね! 必要な情報がすべて揃っているかを確認したいと思います。 標準プランの最大アップロード サイズは 25MB です。」

手順 1 評価の検証: 想定された回答は正しく、評価は有効です。 更新後の応答ではエンタープライズ アカウントの詳細が省かれています。

手順 2 診断: 新しいトーン指示では、すべての応答に共感的な前文が必要です。 この要件は応答予算とモデルの注意を消費し、事実に基づく回答が不完全になります。

分類: エージェント設定の問題。 トーン指示と正確性指示の間の矛盾。

参照: レイヤー 2: エージェント失敗のトリアージ

手順 4: 是正 (レイヤー 3)

問題はトーン ガイダンスそのものではなく、システム プロンプト内の競合する優先順位にあります。 修復は指示を分離し優先順位付けすることに焦点を当てています。

旧指示 (単一で競合している指示):「必ず顧客の懸念に言及し、回答する前に共感を示してください。 すべての回答は、顧客の体験を検証することから始めましょう。」

新しい指示 (分離、優先付け):「事実に基づく完全な回答を必ず含めてください。 簡潔さを理由に詳細を省略しないでください。 また、お客様が不満や懸念を示した場合は、簡潔にその気持ちを認めてください。」

重要な変更:

• 正確性が明示的に優先されます。
• 事実に基づく回答の完全性が明示されています。
• 共感は一律ではなく、条件付きです。
• 「短く」は共感を制限し、内容の短縮を防ぎます。

参照: レイヤー 3: 失敗パターンを修復戦略に対応付ける

手順 5: 検証

システム プロンプトの変更が広範な影響を与える可能性があるため、評価スイート全体を再実行してください。

評価: 両方の信号がブロック閾値に達しました。 トーンはピーク時の水準には完全には戻らないものの、75% の遮断しきい値を十分に上回っており、元のベースラインよりも改善されています。

手順 6: 記録

要点: システム プロンプトの変更は、ターゲット シグナルだけでなく、評価スイート全体に対して必ず検証してください。 指示はモデルの注意を競い合い、ある領域の改善が他の領域で回帰をもたらすことがあります。

注意すべきパターン: このシナリオは命令予算問題の一例です。 プロンプトが増えるにつれて、指示の衝突が起こりやすくなります。 定期的な統合と簡素化は安定性の維持に役立ちます。

事例に通じる共通のパターン

それぞれの事例は異なるシナリオから始まり、明確な診断経路を示します。 単一のエージェントが評価ライフサイクル全体 (スコアの解釈、失敗の分類、改善、検証) をどのように進めるかを確認するには、最も包括的なエンドツーエンドの手順解説を提供する事例 1 をご覧ください。

この表は、複数の事例で観察された繰り返しパターンと、それによって補強される実践的な教訓を強調しています。

次の手順

これらの例を確認した後、現在の状況に最も合った次の行動を選びましょう。

• 評価結果が揃っている場合は、スコア解釈から始めましょう。
• 特定のテスト ケースの障害を診断する必要がある場合は、失敗トリアージを開始します。
• 複数の失敗に対応しており、システム全体の問題を特定したい場合は、パターン分析を適用してください。
• 意思決定、結果、繰り返し発生する問題を追跡するために、失敗記録を設定してください。
• フレームワークの目標に戻って、評価トリアージの全体の流れを確認してください。