[この記事はプレリリース ドキュメントであり、変更されることがあります。]
「 評価 」タブを使って、公開前に一連のテスト質問や会話全体でエージェントのパフォーマンスを測定してください。
評価タブの概要
評価タブを初めて開くと、初期状態が表示されます: エージェントのパフォーマンスを評価とテスト セットを作成ボタンが表示されます。 1つ以上のテストセットを作成すると、タブには代わりに評価セットのテーブルが表示され、名前、実行状況、テストメソッド、最終実行者列、および新しい評価ボタンが表示されます。
テスト セットを作成する
評価 タブで、テスト セットを作成（または、すでにテスト セットがある場合は 新しい評価）を選択してください。
データタイプを選択する:
- 単一回答:エージェントが特定の質問にどう答えるかを確認してください。 ターゲットを絞った能力テストに最適です。
- 会話 (プレビュー): ユーザーとのより長いエージェントのやり取りの品質を確認します。 一般的な評価に最適です。
データ ソースを選択します。
- CSVファイルをアップロードする:アップロードエリアにCSVファイルをドラッグするか、「 ブラウズ」を選択します。 提供されたCSVテンプレートを使って、ファイルの内容やフォーマットが正しいか確認してください。 最大ファイルサイズは5MBです。
- クイック質問セット: エージェントの説明、指示、能力に基づいて10問の質問を生成してください。
- 全質問セット: 知識やトピックを参考にして最大 100 問まで作成します。
- テストチャットの会話を活用しましょう:現在の手動テストセッションからの入力と回答を集めましょう。 (確認済みスクリーンショットでは無効/利用不可と表示されています。利用可能になったら必ず確認してください。)
- あるいは、自分で質問を書きましょう: 手動で質問を追加し、必要に応じて期待される回答も追加できます。
テストケースリストを見直しましょう。 質問を追加を使ってさらに追加できます。10 個の質問を生成を選択するか、記述を選択して質問を手動で追加できます。
テスト セットを構成する
テストセット構成パネルで、次のようにします。
- データタイプ: 選択したデータタイプ（例: 単一回答）を示します。
- 名前:テストセットの必須名称。
-
テスト方法:データを検証するために用いられる基準。 最大5つまで選択してください。 「 テスト方法を追加」 を選択して「 テスト方法を選択する 」ダイアログを開きます。以下が提供されます:
- 一般的な質:回答は関連性や完全性などの品質基準を満たしています。 予想していた反応とかけ離れています。
- 意味を比較する:答えは、たとえ表現が違っても期待される答えと同じ意味を持ちます。
- カスタム:あなたが定めた指示に従ってエージェントの回答を確認し、ラベルを貼ります。
- キーワードマッチ:一致する単語やフレーズを探します。
- テキスト類似度:エージェントの回答のテキストが期待される回答にどれだけ近いかを測定します。 この方法は意味の違いを見落とすかもしれません。
- 完全一致:エージェントの回答は期待される回答と完全に一致しなければなりません。
- エージェントバージョン:現在のドラフトか公開されたエージェント(例: 現在のドラフト)を評価するかを選択します。
- ユーザープロフィール: 管理 を選択して「 プロファイルと接続の管理 」ダイアログを開き、認証済みアカウントを選択したり追加したりできます。 「今後のすべての評価でこれらの設定を使う」をオンにすると、今後のテスト セットでプロファイルを再利用できます。 すべての必要な接続を持つ認証済みプロファイルを使用することを推奨します。これにより、すべてのエージェント機能を検証できます。
結果を表示する
評価を行った後、エージェントの成績を確認するために結果を確認してください。 Customer Conversation harness で駆動されるエージェントの評価結果のレビューは、標準ハーネスで動作するエージェントの結果を確認するのと似ています。 詳しくは、評価の実行と結果の表示をご覧ください。