1 つの応答テスト セットを作成する

1 回の応答評価では、完全な会話ではなく、接続されていない 1 つの質問についてエージェントを一度にテストします。 たとえば、顧客サービス エージェントに対する 1 回の応答評価で 、営業時間を確認し、その質問に対するエージェントの回答を記録した後、新しい質問から始めます。 注文履歴を見つけるにはどうすればよいですか?

単一応答の評価は、エージェントが特定の質問にどのように回答するか、呼び出す機能、その回答で使用される正確な文言についてテストする場合に適しています。 会話評価を実行することもできます。これにより、より長い対話に対するエージェントの動作を評価できます。

評価では テスト セットが使用されます。 1 つの応答評価用のテスト セットは、最大 100 個の テスト ケースのグループで構成されます。 エージェント評価を実行するときは、テスト セットを選択し、Copilot Studio がそのセット内のすべてのテストケースをエージェントに対して実行します。

テストセット内で手動でテストケースを作成したり、スプレッドシートでインポートしたり、AIを使ってエージェントの設計やリソースに基づいてメッセージを生成することもできます。 その後、テストセット内の各テストケースごとにエージェントの応答の質をどのように測定するかを選択できます。

エージェント評価の仕組みについては 「エージェント評価について」をご覧ください。

既存のテストセットの編集方法を学びたい方は、「 テストセットの詳細を変更する」をご覧ください。

新しいテスト セットを作成する

1. エージェントの 評価 ページにアクセスしてください。

   

2. 「新しい評価」を選択し、「単一回答」を選択してください。

   

3. テスト セットの作成に使用する方法を選択します。 テストセットは最大100のテストケースを持てます。

   • クイック質問セットにより、Copilot Studioはエージェントの説明、手順、および機能に基づいてテストケースを自動生成します。 このオプションでは、小規模で迅速な評価を行うための10問の質問を生成したり、より大きなテストセットを構築したりすることができます。
   • 完全な質問セット を使用して、Copilot Studio で ナレッジ ソースまたはトピックを 使用してテスト ケースを生成し、生成する質問の数を選択します。
   • テストチャットの会話を使って、テストチャットで提供した質問を自動的にテストセットに入力してください。 この方法は最新のテストチャットの質問を利用します。 評価 アイコンを使用して、テスト チャットから評価を開始することもできます。
     
   • ファイルからテストケースをインポートするには、ファイルを指定エリアにドラッグし、ファイルをアップロードするために「ブラウズ」を選択するか、他のアップロードオプションのいずれかを選択できます。
   • あるいは、自分で問題を書 いてテストセットを作成するのも良いでしょう。 テスト セットを編集 する手順に従って、テストケースを追加・編集してください。
   • エージェントの分析テーマ に基づく制作データを活用しましょう 。

4. [ 名前] に、テスト セットの名前を入力します。

5. 「選択テスト方法」では、使用したいテスト方法を変更したり追加したりします:

   • 新しい方法を追加:
     1. 「 追加テスト方法」を選択してください。
     2. テストしたいすべての方法を選択し、 その後「OK」を選択してください。
     3. 一部の方法は合格点が必要です。 合格スコアは合格か失敗かを決定します。 スコアを設定してから OKを選択してください。
     4. 一部の手法では、各テストケースごとに期待される回答やキーワードを追加する必要があります。 「Choose Evaluation Methods」で詳しく学びましょう
   • 既存のテスト方法を選択して 編集または削除してください。

   テスト メソッド	メジャー	テスト セットの種類	ポイントの計算	Configurations
   一般的な品質	特定の基準に基づいてテストケースの応答を評価する方法	単一の応答または会話	100点満点	なし
   意味の比較	テストケースの答えの意味が期待される答えとどれだけ一致しているか	単一応答	100点満点	合格点、期待される答え
   ツールの使用	テストケースがすべてまたは一部の予想されたリソースを使用したかどうかを確認する	単一応答	合格/不合格	期待される能力
   キーワードマッチ	テストケースが予想されるキーワードやフレーズのすべてまたは一部を使ったかどうか	単一の応答または会話	合格/不合格	期待されるキーワードやフレーズ
   テキストの類似性	テストケースの回答のテキストが期待される答えとどれだけ一致しているか	単一応答	100点満点	合格点、期待される答え
   完全一致	テストケースの答えが期待される答えと正確に一致しているかどうか	単一応答	合格/不合格	予想通りの答え
   カスタム	テスト ケースの応答が定義された条件または期待値を満たしているかどうか。	単一の応答または会話	合格/不合格 (定義されたラベル条件に合格)	名前、評価手順、ラベル

6. テストケースの詳細を編集してください。 一般的な品質を除くすべてのテスト メソッドには、期待される応答またはキーワードが必要です。 テストケースの編集については 「テストセットの修正」で詳しく学びましょう。

7. 追加設定の中から「管理」を選択してください。

   

8. 「プロファイルと接続の管理」の「ユーザー」欄で、このデータセットに使いたいアカウントを選択するか追加してください。 評価では、このアカウントを使ってテスト中に知識源やツールと接続します。 詳細は 「ユーザープロフィールとコネクションの管理」をご覧ください。

   Note

   自動テストは、選択したテストアカウントの認証を使用します。 エージェントが特定の認証を必要とする知識源やコネクションを持っている場合は、テストに適したアカウントを選択してください。 Copilot Studio は、テスト ケースを生成するときに、接続されているアカウントの認証資格情報を使用して、エージェントのナレッジ ソースとツールにアクセスします。 生成されたテスト ケースには、接続されているアカウントがアクセスできる機密データを含めることができます。 エージェントにアクセスできるすべての作成者は、そのエージェントにリンクされているテスト セットを表示することもできます。

9. 評価を実行しずにデータセットを更新するには 「保存 」を選択し、すぐにデータセットを実行するには 「実行 」を選びます。

知識やトピックから単一の応答データセットを生成する

エージェントがすでに持っている情報や会話の情報源から質問を生成することで、エージェントをテストできます。 このテスト方法は、エージェントが既に持っている知識源やトピックをどのように使っているかをテストするには良いですが、情報のギャップを検証するには向いていません。

以下の知識ソースを用いてデータケースを生成する:

• テキスト

• マイクロソフトワード

• マイクロソフト Excel

• PDF ファイル

• SharePoint ファイル

最大 5 MB のファイルを使用して、テストの質問を生成できます。

データセットを生成するには:

1. エージェントの 評価 ページにアクセスしてください。

2. 新しい評価を選択してください。

3. トグルの「 生成 」オプションを選択してください:

   

4. 「 データタイプ選択」で「 単一回答」を選択してください。

   • 以下の設定を設定するには 、ショー生成オプション を選択してください:

     

     1. 「生成する問題数」の下で、スライダーを選択してドラッグしてテストセットで生成する問題数を選びます。
     2. 「 推薦者として何を使えばよいか?」で、新しい評価の質問を生成する際にエージェントに参照してほしい地域を選択してください。 次の 2 つのオプションがあります。
        • 知識源:エージェントの知識をスキャンして関連する問題セットを作成します。 知識は生成オーケストレーションを使用するエージェントに最適です。
        • トピック:エージェントのトピックを確認し、そのトピックについて質問を作成する。 クラシックモードを使うエージェントに最適です。 トピックは クラシックなオーケストレーションを使うエージェントに最適です。

   

5. 「 データセットを生成する」を選択します。

6. レビューデータセットの中にテストケースの詳細を入力します。 一般的な品質を除くすべてのテスト メソッドには、期待される応答またはキーワードが必要です。 テストケースの編集については 「テストセットの修正」で詳しく学びましょう。

   

7. 「 選択テスト方法」では、使用したい テスト方法 を選択したり変更したりします:

   • 新しい方法を加えると:
     1. 「 追加テスト方法」を選択してください。
     2. テストしたいすべての方法を選択し、 その後「OK」を選択してください。 複数の方法を追加することもできます。
     3. 一部の方法では 、合格スコアを設定してから OKを選択してください。 合格スコアは合格か失敗かを決定します。
     4. 一部の手法では、各テストケースごとに期待される回答やキーワードを追加する必要があります。 「 Choose Evaluation methods」で詳しく学びましょう。
   • 既存のテスト方法を選択して 編集または削除してください。

8. 追加設定の中から「管理」を選択してください。

   

9. 「プロファイルと接続の管理」の「ユーザー」欄で、このデータセットに使いたいアカウントを選択するか追加してください。 評価では、このアカウントを使ってテスト中に知識源やツールと接続します。 詳細は 「ユーザープロフィールとコネクションの管理」をご覧ください。

   Note

   自動テストは、選択したテストアカウントの認証を使用します。 エージェントが特定の認証を必要とする知識源やコネクションを持っている場合は、テストに適したアカウントを選択してください。 Copilot Studio は、テスト ケースを生成するときに、接続されているアカウントの認証資格情報を使用して、エージェントのナレッジ ソースとツールにアクセスします。 生成されたテスト ケースには、接続されているアカウントがアクセスできる機密データを含めることができます。 エージェントにアクセスできるすべての作成者は、そのエージェントにリンクされているテスト セットを表示することもできます。

10. 評価を実行しずにデータセットを更新するには 「保存 」を選択し、すぐにデータセットを実行するには 「実行 」を選びます。

テストケース生成の制限

テストケース生成は、エージェントのコンテンツモデレーション設定に違反する質問が1つ以上あれば失敗します。 次のような理由が考えられます。

• エージェントの指示やトピックがモデルにコンテンツの生成を導き、システムがフラグを立てます。
• 接続された知識源には、機密性や制限付きコンテンツが含まれます。
• エージェントのコンテンツモデレーション設定が厳しすぎます。

問題を解決するために、知識源の調整、指示の更新、モデレーション設定の変更など、さまざまな行動を試してください。

テストセットには最大100のテストケースを含めることができます。

インポート用のテストセットファイルを作成します

Copilot Studioで直接テストケースを作成する代わりに、すべてのテストケースをスプレッドシートファイルに作成し、それをインポートしてテストセットを作成できます。 各テスト問題を作成し、それぞれの質問に対する期待される回答を述べることができます。 ファイルの作成が完了したら、ファイルを .csv または .txt ファイルとして保存し、Copilot Studio にインポートします。

インポート ファイルを作成するには:

1. スプレッドシート アプリケーション (Microsoft Excel など) を開きます。 「新しい評価>インポート」を選択した後、「またはファイルをアップロード」からCSVテンプレートをダウンロードできます。 また、分析から顧客セッションをダウンロードしてExcelで編集することも可能です。

2. 最初の行に、次の見出しをこの順序で追加します。

   • Question
   • 予想される応答

3. [質問] 列にテストの 質問 を入力します。 各質問は、スペースを含めて 1,000 文字以下にすることができます。

4. [予期される回答] 列に、各質問の 予想される回答 を入力します。 テスト セットをインポートする場合、予期される応答は省略可能です。 ただし、一致、類似性、およびテスト ケースを意味する比較を実行するには、予期される応答が必要です。

5. ファイルは .csv ファイルまたは .txt ファイルとして保存します。

6. 「 Create a new test set」の手順に従ってファイルをインポートします。

セットファイルをインポートして単一のレスポンスデータセットを作成します

1. エージェントの 評価 ページにアクセスしてください。

2. 新しい評価を選択してください。

3. 「 データタイプ選択」で「 単一回答」を選択してください。

4. トグルから インポート オプションを選択してください。

   

5. 現在のプレビューチャットセッションのいずれかのデータを使用するには「 プレビューチャット 」を選択してデータをインポートするか、 CSVファイル からテストケースを指定エリアにドラッグするか、「 ファイルをドラッグする」または「アップロード(CSV)」を選択してアップロードします。

   

6. データセットのレビューで、テストケースの詳細を編集してください。 一般的な品質を除くすべてのテスト メソッドには、期待される応答またはキーワードが必要です。 詳細は 「テストセットの修正」をご覧ください。

7. 「 選択テスト方法」では、使用したい テスト方法 を選択したり変更したりします:

   • 新しい方法を加えると:
     1. 「 追加テスト方法」を選択してください。
     2. テストしたいすべての方法を選択し、 その後「OK」を選択してください。 複数の方法を追加することもできます。
     3. 一部の方法では 、合格スコアを設定してから OKを選択してください。 合格スコアは合格か失敗かを決定します。
     4. 一部の手法では、各テストケースごとに期待される回答やキーワードを追加する必要があります。 「 Choose Evaluation methods」で詳しく学びましょう。
   • 既存のテスト方法を選択して 編集または削除してください。

8. 追加設定の中から「管理」を選択してください。

9. 「 プロファイルと接続の管理 」の 「ユーザー」欄で、このデータセットに使いたいアカウントを選択するか追加してください。 評価では、このアカウントを使ってテスト中に知識源やツールと接続します。 詳細は 「ユーザープロフィールとコネクションの管理」をご覧ください。

10. 評価を実行しずにデータセットを更新するには 「保存 」を選択し、すぐにデータセットを実行するには 「実行 」を選びます。

テーマに基づいたテストセットを作成します

実際のユーザーとの会話から得た質問を組み合わせたテストセットを作成しましょう。 この方法は、エージェントの分析データにある テーマ(プレビュー)を使用します。

テーマは、生成的な回答をトリガーするユーザーの質問のプールから取得された質問のグループです。 テーマを使ってテストセットを作成すると、そのテーマに関連するユーザーからの質問からテストケースを生成します。

これらのテストセットを使って、エージェントの業務範囲の一つの分野やトピックに焦点を当てた評価を行いましょう。 例えば、カスタマーサービス担当者がいれば、 請求や支払い に関する質問の回答の質をトラブルシューティングなどの他のユースケースとは別に追跡できます。

1. エージェントの モニター ページで、 テーマ リストに進みましょう。

2. テーマにカーソルを合わせてから 「評価」を選択します。

   

   また、「 すべてを見る 」を選択してさらにテーマを表示し、「 評価」を選択することもできます。

3. 作成して開くを選択します。

4. テストセットやケースの詳細を編集してください。 一般的な 品質を除き、メソッドを使用するすべてのテストケースは期待される応答を求めます。 編集については 「テストセットの修正」で詳しく学びましょう。

5. テストケースを実行しずにテストセットを更新するには 「保存 」を選択し、「 評価 」を選択してテストセットを即座に実行します。