エージェントの評価を実行する（プレビュー）

[この記事はプレリリース ドキュメントであり、変更されることがあります。]

会話を含むテストセットを作成したら、エージェントのパフォーマンスを測定するための評価を実行してください。 評価は各会話を処理し、選択したテスト方法に基づいてスコア付きの評価結果を生成します。

Important

  • これは運用に対応したプレビュー機能です。
  • 運用に対応したプレビューには 追加使用条件 が適用されます。

前提条件

エージェントの評価を実行するには:

  1. Copilot Studio でエージェントを開きます。
  2. [評価] タブを選択します。
  3. 「 評価 」ドロップダウンで、実行したい評価を選択します。
  4. テストセットにまだ会話が追加されていない場合は、少なくとも1つの会話を追加してください。
  5. テストセット構成パネルで、以下を確認してください:
    • 評価 Name は設定されています。
    • テスト方法が構成されます(例: 一般品質)。
  6. 評価を選択して評価を開始します。 評価はテストセット内の各会話を処理します。 会話数に応じて、この処理には数分かかる場合があります。

Tip

同じ評価を何度も実行してください。 各ランは別々に保存されているので、ランごとに結果を比較し、エージェントの変更が品質にどう影響するかを確認できます。

評価の再実行

エージェントの指示や知識、ツールを変更した後は、評価を再度実行して影響を測定してください:

  1. 評価タブで、評価ドロップダウンから再実行する評価を選択します。
  2. 最近の結果でテストセットを再評価を選択するか、テストセットの評価アイコン を選択して新しい実行を開始します。
  3. 新しいランの結果と過去のランを比較し、変更が性能向上か低下かを確認しましょう。

評価セッションをダウンロードしてください

環境で 評価 タブが利用可能になったら、評価実行からセッションデータをダウンロードしてオフラインでレビューしたり、レビュアーと共有したりできます。 ダウンロードは評価実行のメタデータ(評価名、実行識別子、エージェントバージョン、テストメソッド)と会話ごとの結果(各ターンの入力、エージェント応答、スコア)をパッケージ化します。

評価セッションをダウンロードするには:

  1. 評価 タブで、ダウンロードしたい実行の評価を開いてください。
  2. 最近の結果でダウンロードしたいランを選択してください。
  3. セッションデータを保存するには ダウンロード を選択します。

ダウンロードしたセッションデータを以下に活用します:

  • Copilot Studioにアクセスできない場合は、エージェントの返答をオフラインで確認してください。
  • 特定のランをレビュアーに共有してフィードバックをもらいましょう。
  • テスト成果物と並行して評価の記録を残してください。

ダウンロードされたセッションデータは、ダウンロード時のランの状態を反映しています。 後からエージェントの変更の影響を捉えたい場合は、評価を再度実行してください。

  • 最終更新: