アサーションでは、各評価テスト ケースの 正しい 意味を定義します。 適切に記述されたアサーションにより、一貫した合否の決定が可能になり、問題が発生したときに何が失敗したかを正確に特定するのに役立ちます。
良いアサーションとは
すべてのアサーションは、アトミックで、バイナリで、結果に焦点を当て、検証可能である必要があります。
| 抽出条件 | 説明 | 使用例 |
|---|---|---|
| アトミック | 1 つの条件のみをテストします。"and" や "or" は避けます | 応答に '15 days' が含まれる |
| バイナリ | 明確な合格または不合格の結果がある。部分的なクレジットはありません | "ほとんどが正しい" ではない |
| 成果重視 | 主観的な品質ではなく、何が起こったかを検証します | Not "役立つように応答します" |
| 検証可能 | レビュー担当者間で一貫した結果が得られる | 特定の値または動作 |
2 人テスト
2 人テストでは、アクションできない曖昧なアサーションが特定されます。 2 人のドメイン エキスパートが独立して同じ合格または不合格の結果に到達できない場合は、アサーションを修正します。
| テストに合格 | テスト不合格 |
|---|---|
| 応答には、登録を完了するための手順が含まれます。 | 役立つ応答 |
| 応答には、PTO 許容量は 15 日であると記載されています。 | 正確な情報を提供する |
| FMLA の質問については、応答は HR にルーティングされます。 | 要求を適切に処理します |
| 応答には、少なくとも 3 つのヘルスプランのオプションが一覧表示されます。 | 関連する結果を表示する |
アサーション式
一貫性のある構造を使用して、明確さと評価の信頼性を向上させます。 各アサーションを "The response..." で始めます。
- 応答には...
- 回答は...
- 応答は...
- 応答は...
- 応答のルーティング先...
この構造により、アサーションは観察可能な結果に焦点を当てます。
アサーションの種類
シナリオが異なれば、必要なアサーションの種類も異なります。 シナリオに最も関連性の高いアサーション タイプから始め、必要に応じて対象範囲を拡大します。
事実的正確性の主張
応答に正確な情報が含まれていることを確認します。
パターン: 応答に <specific value or text> が含まれています。
シナリオ: PTO ポリシーに関する質問。
プロンプト: 「新入社員の休暇は何日取得できますか?」
アサーション:
- 応答に "15 days" または "15 days of PTO" が含まれています。
- 応答に "annual" または "per year" が含まれる。
- 回答では、在職期間が 2 年未満の従業員について言及しています。
丸めデータを含める:
- ポリシー発効日: 2024 年 1 月 1 日
- 2年未満のPTO:15日
- 2〜5年間のPTO:20日間
- 5年以上のPTO:25日
アサーション:
- 応答には、クエリされた在職期間ブラケットの "15 日" が含まれています。
- 応答に "10 日" は含まれません。
ソース属性のアサーション
応答がソースを引用していることを確認します。
パターン: 応答は <source name> を引用または参照します。
シナリオ: 特典に関する質問。
プロンプト: "どのような医療プランを利用できますか?"
アサーション:
- 回答は従業員福利厚生ガイドを引用しています。
- 応答には、詳細情報の入手先が含まれます。
- 応答には、帰属なしの情報は表示されません。
ツール呼び出しのアサーション
正しいツールが使用されていることを確認します。
パターン: エージェントが <tool name> を呼び出します。
シナリオ: 機器の注文。
プロンプト: 「16 インチ MacBook Pro を注文する必要があります」
アサーション:
- エージェントが OrderEquipment ツールを呼び出します。
- ツール呼び出しには
itemType: "laptop"が含まれています。 - ツール呼び出しには、"MacBook Pro" を含むモデル値が含まれています。
- ツール呼び出しに "size: 16" または "16-inch" が含まれます。
ツール パラメーターのアサーション
ツール呼び出しに完全で正しいパラメーターが含まれていることを確認します。
データの根拠化:
- 従業員ID: EMP-12345
- 部署: エンジニアリング
- コストセンタ: CC-ENG-001
プロンプト: 「16 GB RAM を搭載した MacBook Pro 32 インチを注文してください」
パターン:<tool>呼び出しには <parameter name and expected value> が含まれます。
アサーション:
- OrderEquipment 呼び出しには
employeeId: "EMP-12345"が含まれています。 - OrderEquipment 呼び出しには
itemType: "laptop"が含まれています。 - OrderEquipment 呼び出しには
model: "MacBook Pro 16-inch"が含まれています。 - OrderEquipment 呼び出しには、"32GB" を含む仕様が含まれています。
- OrderEquipment 呼び出しには
costCenter: "CC-ENG-001"が含まれています。
ツール応答処理アサーション
応答がツールの結果を正しく伝えていることを確認します。
データの根拠化:
- シナリオ: 備品の注文確認
- ツール返品: { orderId: "ORD-789", estimatedDelivery: "5-7 business days" }
パターン: 応答には <tool result> が含まれます。
アサーション:
- 応答には注文 ID が含まれます。
- 応答は、配信期間を通信します。
- 応答で送信が成功したことが確認されます。
エラー処理
シナリオ: 機器の注文が失敗する (在庫切れ)
ツールの戻り値: { error: "ITEM_UNAVAILABLE", message: "MacBook Pro 16 インチ現在在庫切れ" }
アサーション:
- 応答でエラー状態を確認します。
- 応答は次の手順を提案します。
- 操作が失敗した場合、応答は成功を示しません。
エスカレーション アサーション
機密性の高いシナリオや複雑なシナリオが適切にルーティングされていることを確認します。
パターン: 応答は <specialist or team> にルーティングされます。
シナリオ: FMLA の質問 (エスカレーションする必要があります)
プロンプト: 「家族の病状で長期休暇を取らなければなりません」
アサーション:
- 応答は、このプロンプトに人事専門家のサポートが必要であることを示しています。
- この回答は、FMLA 適格性ルールを説明しようとしているわけではありません。
- 応答には、HR に連絡する方法に関する情報が記載されています。
- 応答は、状況のデリケートさを認識しています。
拒否アサーション
システムが不適切または制限された要求を拒否することを確認します。
パターン: 応答は <prohibited action> に拒否されます。
シナリオ: 別の従業員のデータを要求する
プロンプト: 「カトリン・ポルドの給料はいくらですか?」
アサーション:
- 応答では、制限された情報の提供は拒否されます。
- 応答は制限を説明しています。
- 応答では、機密データは表示されません。
個人用設定のアサーション
応答にユーザー コンテキストが反映されていることを確認します。
パターン: 応答は <contextual attribute>を反映しています。
シナリオ: 英国の従業員への休日に関する質問
データの根拠化:
- 従業員: Pouria Zargar
- 場所: ロンドン、英国
アサーション:
- 応答には、場所固有の情報が含まれます。
- 応答では、無関係な地域コンテンツは除外されます。
- 応答には、英国の銀行休業日が一覧表示されます。
- 応答には、ボクシングデー (英国固有) が含まれます。
- 回答には、米国の祝日 (7 月 4 日、感謝祭) にはメンションされていません。
- 応答は英国の祝日スケジュールを参照しています。
完全性アサーション
応答が必要な情報がすべて提供されていることを確認します。
パターン: 応答には <required element> が含まれます。
シナリオ: 福利厚生登録ガイダンス
プロンプト:「健康保険に加入する操作方法?」
アサーション:
- 回答には期限が含まれます。
- 応答には、アクセス ポイント (ポータルなど) が含まれます。
- 応答には、必要な手順または前提条件が含まれます。
- 応答には、登録期限が含まれます。
- 応答には、登録ポータルにアクセスする場所が含まれます。
- 応答には、使用可能なプラン オプションが一覧表示されます。
- 応答には、必要な書類または情報が記載されています。
否定的なアサーション
応答で不正確なコンテンツや古いコンテンツが回避されていることを確認します。
パターン: 応答には <prohibited content> は含まれません。
シナリオ: ポリシーに関する一般的な質問
プロンプト: "リモート ワーク ポリシーは何ですか?"
アサーション:
- 応答には古いポリシーは含まれません。
- 応答では、サポートされていない情報は導入されません。
- 応答は 2022 ポリシー バージョンを参照していません。
- 応答は、ソースにないポリシーの詳細を構成するものではありません。
ツール呼び出しのアサーション
ツール ベースのシナリオでは、呼び出し、パラメーター、応答処理全体にわたる検証が必要です。 OpenAPI プラグイン、API アクション、または MCP サーバーを使用するエージェントの場合、ツール呼び出しのアサーションに特別な注意が必要です。
シナリオ: 複雑な機器の注文
データの根拠化: 従業員: Bernadette Sylvain 従業員 ID: EMP-54321 部署: データ サイエンス マネージャー: Katrin Pold 予算: $4,000
プロンプト: 「M16 Max チップと 3GB RAM を搭載した MacBook Pro 64 インチを注文する必要があります。 27 インチの外部モニターも必要です。」
ツール呼び出しのアサーション
- エージェントは少なくとも 1 回は
OrderEquipmentを呼び出しました。 - エージェントは、ラップトップとモニターを別々に呼び出しました (または Azure Batch 呼び出し)。
パラメーターのアサーション
ノート PC の順序パラメーターのアサーション:
- 通話には
itemType: "laptop"が含まれています。 - 呼び出しには、"MacBook Pro" を含む
modelが含まれています。 - 通話には
size: "16"または"16-inch"が含まれます。 - 呼び出しには、"M3 Max" を含む
specsが含まれています。 - 呼び出しには、"64GB" を含む
specsが含まれています。 - 通話には
employeeId: "EMP-54321"が含まれています。 - 通話には、Katrin Pold を参照する
approverまたはmanagerIdが含まれています。
モニターの順序パラメーターのアサーション:
- 通話には
itemType: "monitor"が含まれています。 - 通話には
size: "27"または"27-inch"が含まれます。
応答のアサーション
- 応答では、両方のアイテムが注文されたことが確認されます。
- 応答には、注文の参照番号が含まれます。
- 応答は、推定配信情報を提供します。
避けるべき一般的なアサーション パターン
あいまいな品質判断や複合プロンプトを伴うアサーション、特定の実装に依存するアサーション、根拠となるデータがないアサーション、または過度に具体的なアサーションは避けてください。
| アサーションの種類 | 回避する | 用途 |
|---|---|---|
| あいまいな品質判断 | 返信は役に立ちました 応答は正確です |
応答には、登録期限が含まれます。 応答には、PTO 許容量は 15 日であると記載されています。 |
| 複合アサーション | 応答に正しい値が含まれ、ソースが引用されます | 応答に正しい値が含まれています。 応答はソースを引用します。 |
| 実装に依存するアサーション | エージェントが GetPTOBalance 関数を使用する | 応答には、従業員の現在の PTO 残高が含まれます。 |
| 根拠のないアサーション | 応答に正しい値が含まれている | 応答に "12 days remaining" が含まれます。 |
| 過度に特定の書式設定のアサーション | 応答には正確に 3 つの箇条書きが含まれます | 応答には、少なくとも 3 つのオプションが一覧表示されます。 応答は "こんにちは! 喜んでお手伝いします。」 応答にはあいさつが含まれます。 |
アサーション テンプレート
次のアサーション テンプレートは、一般的なシナリオのアサーションの出発点を提供します。
知識の取得
シナリオ: [トピック] に関する質問
プロンプト: "[トピックに関するユーザーの質問]"
アサーション:
- 応答には、[ナレッジ ソースからの特定の事実] が含まれています。
- 応答では [ソース ドキュメントまたはセクション] が引用されています。
- 応答に [古い情報または正しくない情報] は含まれていません。
- 応答は、ユーザーの特定の質問に対応しています。
ツール呼び出し
シナリオ: [アクション] 要求
プロンプト: "[アクションを実行するユーザー要求]"
アサーション:
- エージェントが [ツール名] ツールを呼び出します。
- ツール呼び出しには [必須パラメーター]: [予期値] が含まれています。
- 応答は [期待される結果] を裏付けています。
- 応答には、[参照番号/確認] が含まれます。
エスカレーション
シナリオ: [機密トピック] に関する質問
プロンプト: "[人間の判断を必要とするユーザーの質問]"
アサーション:
- 応答は、これには [専門家/人的] 支援が必要であることを示しています。
- 応答では、連絡先情報または次の手順が提供されます。
- 応答は、[アドバイスを提供する/決定を下す] ことを試みません。
- 応答は [秘密度/複雑さ] を確認します。
拒否
シナリオ: [不適切/スコープ外] 要求
プロンプト: "[拒否されるべきユーザー要求]"
アサーション:
- 応答は [禁止された行動] に拒否されます。
- 応答は[これができない理由]を説明しています。
- 応答は[禁止されているものを明らかにしたり試みたりする]ことはありません。
- 応答は [該当する場合は適切な代替案] を提案しています。
アサーションを採点者にマップする
アサーションが異なれば、必要な採点メカニズムも異なります。 次の表は、さまざまなアサーション タイプに使用するグレーダーの一覧です。
| アサーションの種類 | 推奨採点者 | メモ |
|---|---|---|
| 特定の文字列を含む | キーワードの一致 | 決定論的 |
| セマンティック一致 | テキストの類似性 | 言い換えを処理する |
| ツールの呼び出し | 機能の一致 | 実行を評価します |
| パラメーターの検証 | カスタム コード | 入力の解析 |
| 品質判定 | LLM-判事 | 選択的に使用する |
| 正確な値 | 完全一致 | ID と番号の場合 |
| 不在確認 | キーワードの除外 | 省略を検証します |