Microsoft 365 Copilot 評価 CLI の概要

以前はエージェント評価CLIと呼ばれていたMicrosoft 365 Copilot評価CLI(@microsoft/m365-copilot-eval)は、構造化された評価と結果レポートを使用してエージェントの品質をテスト、測定、および改善するのに役立ちます。 CLI v2 プレビューでは、プラグインを使用する Microsoft 365 Copilot 応答の評価もサポートされています。

重要

デプロイ済みの宣言型エージェントの場合は、ガイド付きワークフロー用の Work IQ Dev Tools から始めます。 Work IQ Dev Tools は、互換性のある Microsoft 365 Copilot Evaluations CLI バージョンを管理し、wiqd agent eval を通じて公開します。 低レベルのコマンド制御が必要な場合、または既存の runevals ワークフローを維持する必要がある場合は、このセクションのスタンドアロン CLI ガイダンスを使用します。

CLI バージョンの選択

npm パッケージ名と runevals コマンドは変更されません。

バージョン npm タグ 評価範囲
v1 latest デプロイされたエージェント。 クイックスタートでは、このバージョンについて説明します。
v2 プレビュー preview プラグインを使用する展開済みのエージェントと Microsoft 365 Copilot の応答。 スキーマ v2 の ツール呼び出しエバリュエーター に必要です。

v2 プレビューでは、エージェント ID が構成されていない状態で実行すると、エージェントを選択する代わりに Microsoft 365 Copilot チャットが評価されます。 プラグインを実行する場合は、まず Copilot でプラグインをプロビジョニングして有効にし、シェルと読み込まれた環境ファイルから M365_AGENT_ID と従来の AGENT_ID を削除します。 このセットアップは、プラグイン エンドポイントを単独で評価するのではなく、Copilot エクスペリエンスを評価します。

プレビュー インストールとツール呼び出しデータセットの例については、「 ツール呼び出しエバリュエーター」を参照してください。

可能な操作

評価ツールは、次の機能を提供します。

  • バッチ評価と対話型評価を実行します。
  • Microsoft Foundry クラウドの評価と組み込みのメトリックを使用して、回答を自動的にスコア付けします。
  • JSON データセット、インライン プロンプト、または対話型入力を使用してテストします。
  • HTML、JSON、または CSV 形式でレポートを生成します。

評価メトリック

回答の評価者は、回答の品質をスコア付けします。 ツール呼び出しエバリュエーターは、応答テキストではなくランタイム診断を検査します。

Evaluator Type [倍率] 既定のしきい値 既定値
関連性 LLM ベース 1 から 5 3 はい
コヒーレンス LLM ベース 1 から 5 3 はい
グラウンディングネス LLM ベース 1 から 5 3 なし
類似性 LLM ベース 1 から 5 3 なし
RetrievalQuery LLM 以外 成功/失敗 該当なし ×
RetrievalResult LLM 以外 比例 1.0 ×
ToolCallSelection (v2 プレビュー) LLM 以外 成功/不合格/エラー 1.0、修正済み ×
ToolCallExecution (v2 プレビュー) LLM 以外 成功/不合格/エラー 1.0、修正済み ×
引用文献 カウントベース >= 0 1 ×
ExactMatch 文字列一致 ブール値 該当なし ×
PartialMatch 文字列一致 0.0-1.0 0.5 ×

構成オプションやサンプル データセットなど、各エバリュエーターの詳細については、「 エバリュエーター リファレンス」を参照してください。

評価ワークフローのしくみ

評価は、一貫したワークフローに従います。

  1. CLI をインストールして構成します。
  2. 環境構成と資格情報を指定します。
  3. テスト プロンプトのデータセットを作成します。
  4. エージェントに対して評価を実行します。
  5. 結果を確認し、反復処理します。

必須の環境変数

評価ツールでは、環境変数を使用してテナントと Microsoft Foundry プロジェクトを認証して接続します。 次の設定では、v1 エージェントの評価ワークフローについて説明します。 v2 プレビューのツール呼び出しエバリュエーターを含む確定的なエバリュエーターのみを使用する実行では、Microsoft Foundry スコアリング構成は必要ありません。

変数 説明 既定
TENANT_ID エージェントが展開されている Microsoft Entra テナント ID。 なし
AZURE_AI_PROJECT_ENDPOINT クラウドの評価に使用される Microsoft Foundry プロジェクト エンドポイント。 決定論的평가자ではなく、Microsoft Foundry LLM ジャッジに必要です。 なし
AZURE_AI_MODEL_NAME Microsoft Foundry プロジェクト内のモデル デプロイ名。 gpt-5-mini
M365_TITLE_ID (オプション) 評価用の Microsoft 365 エージェント ID を自動検出するために使用されるタイトル ID。 なし
M365_AGENT_ID (オプション) 評価用の明示的なエージェント ID。 自動検出元 M365_TITLE_ID

これらの値により認証が有効になり、ツールが Microsoft Foundry を使用して LLM ベースの評価スコアリングを実行できるようになります。 これらの値を取得する方法の詳細については、「 環境変数の値の取得」を参照してください。