Copilot Agent Kit のエージェント レビュー ツールを使ってエージェントを分析する

エージェント レビュー ツールは、Microsoft Copilot Studio エージェントおよび Microsoft 365 宣言型エージェント向けの自動化された品質評価およびコンプライアンス レビュー システムです。 これは、開発者、管理者、およびガバナンス チームが問題やアンチパターン、コンプライアンスのギャップをエンド ユーザーに届く前に特定するのに役立ちます。

組織が Copilot Studio の展開をスケーリングするにつれて、各エージェントの構成、指示、トピック構造を手動で確認することは不可能になります。 エージェント レビュー ツールは AI 搭載の分析を通じてレビューを自動化し、通常 60 秒未満で実用的な分析結果を提示します。

用途は以下の通りです。

• 開発者: 展開前にエージェントの質を向上させるための実用的なフィードバックを取得します。
• 管理者および CoE チーム: 環境内のすべてのエージェントに対してガバナンス基準を適用します。
• セキュリティおよびコンプライアンス担当者: エージェントがプライバシー、安全、正確性に関するガイドラインを遵守しているか確認します。

主要な機能

開始する: ダッシュボード

エージェント レビュー ツールを開くと、ダッシュボード が表示されます。これは、環境内のすべてのエージェントとそのレビュー状況が表示される中心的なハブです。

ダッシュボードのレイアウト

ダッシュボードにはすべてが一目でわかるように表示されます: Copilot Studio と Microsoft 365 エージェントを切り替えるタブ バー、ポートフォリオの正常性を要約する 4 つの統計カード、検索ツール バー、ページ分割されたエージェント グリッド、そしてオフライン レビュー用の ZIP のアップロード ボタンなどがあります。

統計カード

4 つの統計カードにより、エージェント ポートフォリオの正常性のスナップショットを瞬時に把握できます。

エージェント グリッド

環境の選択

デフォルトでは、ツールはインストールした環境のエージェントを表示します。 別の環境のエージェントをレビューする必要がある場合は、ダッシュボードのツール バーの環境セレクターを使用します。 ドロップダウン リストには、アクセスできるすべての Power Platform 環境が表示されます。

別の環境を選択すると、その環境のエージェントを表示するためにエージェント グリッドがリフレッシュされます。 その後、どのエージェントもレビューできます。 レビュー結果は選択した環境ではなく、現在の (ホーム) 環境に保存されます。

レビュー モード

このツールはダッシュボード上部のタブ バーからアクセスできる 2 つの異なるレビュー モードをサポートしています。

Copilot Studio エージェントのレビュー

このモードではMicrosoft Copilot Studioで構築されたエージェントのレビューを行います。 Dataverse から直接読み込みます。ファイルのアップロードは不要です。

分析内容:

• トピックの構成 (名前、説明、変数)。
• ツールとアクションの構成 (数、記述、ルーティング)。
• サポート情報ソースの種類。
• テスト ケースのカバレッジ。
• エージェントへの指示 (生成モード)。
• エージェントのメタデータ (言語、認証、AI 設定)。

レビューを開始するには:

1. グリッドでエージェントを見つけます。
2. レビュー を選択します。 分析が自動的に開始されます。
3. 進行状況パネルにリアルタイムで状況が表示されます。
4. 完了すると、レビュー パネルに結果が表示されます。

エージェントはいつでも再度レビューできます。 レビューが実行されるたびに、Dataverse 内に新しいレコードが作成されます。 グリッドには常に最新のレビュー結果が表示されます。

宣言型エージェントのレビュー (Microsoft 365 Copilot)

このモードでは、マニフェスト JSON ファイルで定義され、Microsoft 365 Copilot エコシステムに展開される Microsoft 365 宣言型エージェントをレビューします。

宣言型エージェントは、次の 2 つの方法でレビューに提出できます。

分析内容 (15 の基準ではなく、5 つの基準):

レビュー中に実行される処理

レビュー を選択すると、ツールは通常 60 秒未満で完了する自動化された分析を実行します。 実行中は、進行状況パネルで状況を確認できます。

分析は、次の 3 つの項目を順番に実行します。

1. 構成分析: ツールは、Dataverse からエージェントの完全な構成 (すべてのトピック、ツール、サポート情報ソース、テスト ケース、および指示) を読み込みます。 すべてのコンポーネントでフィールドの欠落をチェックし、ツール数やテスト カバレッジを Microsoft の文書化されたベスト プラクティスと比較して測定します。
2. AI 搭載のパターン評価: AI モデルが同じ構成をレビューし、単なる完全性だけでなく 品質 を評価します。 トピックの名前や説明が生成型オーケストレーターにとって正確なルーティングを行えるほど明確であるか、複数のトピックが重複してルーティングの混乱を引き起こしていないか、そしてツールの説明が適切なタイミングで正しいツールを呼び出すための十分なガイドラインを AI に提供できているか、などを検証します。
3. 指示コンプライアンス チェック: 2 つ目の AI モデルがエージェントのシステム指示を読み取り、Microsoft の生成モードのガイダンスに基づく 15 のベスト プラクティス基準 (スコープ、安全性、応答品質、ユーザー エクスペリエンスなど) に照らし合わせてチェックします。 指示が基準を満たしていない場合は、具体的な問題点とレコメンデーションが提示されます。

3 つのステップすべてが完了すると、PDF レポートが自動的に生成され、レビュー パネルに結果が表示されます。

検出されるパターン

パターンは、エージェントの構成の中に含まれる、特定のアンチパターンや欠落しているベスト プラクティスを特定します。 このツールは 7 つのカテゴリーにわたって 18 のパターンをチェックします。

全 18 パターン

各不合格パターンごとに、ツールは影響を受けるトピック、発見をトリガーした現在の値、提案された改善点、関連する Microsoft Learn ドキュメントへのリンクを表示します。

パターンのカテゴリ

結果グリッドでは、パターンが 7 つのカテゴリに分類され、以下の順序で並べ替えられます。

重大度のロジック

キーワード マッチングとトピック数の組み合わせがパターンの重大度を決定します。

重大度は、結果グリッドに表示される視覚的なバッジと、エクスポートされたレポート内の SARIF エラー レベルの両方に反映されます。

コンプライアンス条件

レビューのこの部分では、エージェントのシステム指示の品質を評価します。これは Copilot Studio の 生成 設定で開発者が提供する自然言語テキストです。 これらの指示は、すべての会話におけるエージェントの動作を定義します。

15 の基準は、Microsoft の 生成モード ガイダンス に由来し、指示の品質に関して最も影響力のあるベスト プラクティスを表しています。

15 の全基準

カテゴリの内訳

スコアの計算方法

すべてのスコアは 0 から 100 のスケールで、決定論的です。 同一の入力であれば、常に同じスコアが生成されます。

パターン スコア

Pattern Score = (Passed Patterns / Total Patterns) × 100

• パターンの総数 = 10 の決定論的パターン + 返された AI 検出パターンの数 (最大 8)。
• 合格したパターン数 = パターンの状態が pass の数。
• 結果は最も近い整数に丸められます。

例: 全 15 パターン中 12 パターン合格 = パターン スコア 80。

指示スコア

指示スコアは、各基準の固有の重大度に基づく重み付けポイント システムを使用します。

Instruction Score = (Earned Points / 35) × 100

• 15 の基準それぞれに対して、その基準に問題が見つからなければ、その固有の重大度ポイントが加算されます。
• 「指示の欠落」が検出された場合、すべての基準が不合格となり、スコアは 0 となります。
• 結果は 100 にクランプされ、最も近い整数に丸められます。

例: 3 つの高基準と 2 つの中基準で不合格となった場合:

• 獲得ポイント: (4 × 3) + (4 × 2) + (2 × 1) = 12 + 8 + 2 = 22 ポイント。
• スコア = (22 / 35) × 100 = 63。

全体的なスコア

Overall Score = (Pattern Score × 0.5) + (Instruction Score × 0.5)

両方の分析コードは同等の重みを持ちます。 もし利用可能な分析コードが 1 つだけの場合 (たとえば指示が存在しない場合)、その分析コードのスコアが直接使用されます。

スコア、色、ラベル ガイド

結果の確認

レビュー終了後、レビュー パネルに結果が表示されます。 パネルには 3 つのタブがあります。

[概要] タブ

概要 タブには大まかな概要が表示されます。

• 全体的なスコア: 緑、琥珀、赤の円形ゲージ。
• パターン スコア と 指示スコア が左右に並んで表示されます。
• エージェントのメタデータ: 名前、環境、言語、認証モード、AI 設定。
• AI で生成された概要: 最も重要な分析結果を自然言語で説明したものです。
• レビュー タイムスタンプ およびデータ ソース (ライブ環境や ZIP アップロード)。

[パターン] タブ

パターン タブには、評価された 18 パターンの全グリッドが、以下の列を含めて表示されます。

グリッドは任意の列で並べ替えることができます。 デフォルトでは、不合格パターンが最初に表示され、重大度 (高、中、低) 順に並べ替えられます。

[コンプライアンス] タブ

コンプライアンス タブには 15 の指示基準すべてが表示されます。

パターン詳細ドリルダウン

不合格のパターンで 詳細 を選択すると、パターン詳細 パネルが開きます。 以下が示されます:

• パターン名と説明: このパターンがチェックする内容。
• 重要性: このアンチパターンがエージェントの品質に与える影響。
• 影響を受けるトピックの表: 各トピックの現在の値と AIが提案する変更案。
• レコメンデーション: 問題を解決するための具体的なアクション。
• 詳細情報: 関連する Microsoft Learn ドキュメントへの直接リンク。

コンプライアンス詳細のドリルダウン

いずれかの不合格コンプライス基準で 詳細 を選択すると、コンプライアンス詳細 パネルが開きます。 以下が示されます:

• 基準名、カテゴリ、重大度
• 基準のチェック内容: 分かりやすい言葉による説明
• 検出された具体的な問題: 欠落や不備に関する AI による分析
• レコメンデーション: エージェントへの指示に追加するべき正確な言葉やパターン
• 例: 利用可能な場合、準拠した指示の例
• 詳細情報: 関連する Microsoft Learn ガイダンスへのリンク

結果のエクスポート

レビュー パネルのヘッダーから 3 つの形式で結果をエクスポートできます。

PDF レポート

関係者と共有したり、ガバナンス監査に添付したりするのに適した、洗練された人間が読みやすい PDF レポートです。

内容:

• スコアと主要なメトリックを含むエグゼクティブ サマリー
• パターン評価結果 (状態、重大度、影響を受けたトピック)
• コンプライアンスの分析結果 (15 のすべての基準)
• 検出されたすべての問題に対するレコメンデーション
• エージェント メタデータ (名前、環境、レビュー日)

ファイル名のパターン: {AgentName}_review_{YYYY-MM-DD}.pdf

PDF は各レビューの最後に自動的に生成され、レビュー レコードとともに Dataverse に保存されます。 その後のダウンロードでは、分析を再実行せずに保存されたファイルを取得します。

SARIF エクスポート

SARIF (Static Analysis Results Interchange Format v2.1.0) は、開発者ツールや CI/CD パイプラインとの統合を目的とした JSON フォーマットです。

ユース ケース:

• SARIF ベースの PR 注釈を行うために GitHub Advanced Security へアップロードする
• Azure DevOps のクオリティ ゲート チェックにインポートする
• SARIF を消費するサードパーティ製ツール (SonarQube、Visual Studio Code など) で処理する

構造の概要:

{
  "version": "2.1.0",
  "runs": [{
    "tool": {
      "driver": {
        "name": "Copilot Studio Agent Review Tool",
        "version": "1.0"
      }
    },
    "results": [
      {
        "ruleId": "pat-007",
        "level": "error",
        "message": { "text": "Excessive Tools Usage: 28 tools exceed the recommended limit of 25" },
        "properties": {
          "category": "Architecture",
          "recommendation": "Reduce tool count to 25 or fewer"
        }
      }
    ]
  }]
}

重大度と SARIF レベルのマッピング:

• 高 = "error"
• 中 = "warning"
• 低 = "note"

ファイル名のパターン: {AgentName}_review.sarif

Excel エクスポート

データ分析、レポート作成、およびアーカイブ用の複数シートで構成された Excel ブック。

ヘッダーは太字にし、ブランドカラーの背景色を設定します。 スコアと重大度のセルは緑、琥珀、赤で色分けされます。 列幅は自動調整されます。

ファイル名のパターン: {AgentName}_review_{YYYY-MM-DD}.xlsx

宣言型エージェントのレビューの詳細分析

Microsoft 365 宣言型エージェントは、Copilot Studio のエージェントとは異なる種類のエージェントです。 これらはすべて JSON マニフェスト ファイルで定義され、Microsoft 365 エコシステムに展開されます。

宣言型エージェント のレビューでチェックする内容

レビューではまずマニフェスト構造を検証し、必要なフィールドがすべて存在し、スキーマが適切に形成されているかを確認します。 その後、5 つの品質基準に基づく AI 評価を実行し、PDF レポートを生成します。 (Copilot Studio エージェント固有の) 15 の基準の指示コンプライアンス チェックはここでは適用されません。

5 つの宣言型エージェント評価基準

マニフェスト正常性チェック (ローカル検証)

AI が実行される前に、決定論的な正常性チェックによってマニフェスト構造が検証されます。

• 必須フィールドが存在する (name、description、instructions)
• スキーマ バージョンの互換性
• アクション プラグインの参照が有効
• 会話スターターの数が制限範囲内 (3-12)
• 能力宣言の形式が正しく構成されている

正常性チェック不合格は、AI 評価とは独立して、宣言型エージェントのレビュー結果に問題として表示されます。

宣言型エージェントをレビューに提出する

ZIP アップロードを通じて (最も一般的):

1. オーサリング ツールから宣言型エージェントを ZIP パッケージとしてエクスポートします。
2. エージェント レビュー ツールのページ ヘッダーで ZIP のアップロード を選択します。
3. ZIP に複数のエージェントが含まれている場合、レビューするエージェントをセレクター パネルで選べます。
4. レビューは自動的に実行されます。

Microsoft 365 カタログを通じて (Graph API の設定が必要):

1. [Microsoft 365 エージェント] タブで Microsoft 365 に接続する を選択します。
2. Graph API 認証ウィザードを完了します。
3. 展開した宣言型エージェントが宣言型エージェント グリッドに表示されます。
4. 任意の宣言型エージェントで レビュー を選択します。

セキュリティとデータ アクセス

このセクションでは、エージェント レビュー ツールがセキュリティおよびデータ アクセスをどのように処理するかについて説明します。

データ ストレージ

すべてのレビュー結果は、cat_agentreviews Dataverse テーブルに保存されます。 各レコードには以下の情報が保存されます。

行レベル セキュリティ

cat_agentreviewsテーブルは Dataverse でユーザーレベル (Basic) 読み取りスコープを使用します。 ユーザーは、自分で作成したレビューのみ表示できます。 同じ環境でも他のユーザーのレビューは決して表示されません。 Dataverse はこのセキュリティをネイティブに適用しており、アプリケーション コードによるものではありません。

ソース環境

ユーザーは、現在の環境だけでなく、アクセスできる環境からエージェントをレビューできます。 ダッシュボードは、環境セレクターを通じてクロス環境のレビューに対応しています。 他の環境からのレビューにはソース環境の URL がタグ付けされているため、ツールの読み込み時に正しく表示されます。

ZIP アップロードから取得されたレビューは、ツールがどの環境に接続されているかに関係なく、常に表示されます。

環境から外部へ送信されるデータ

• エージェントの構成 (トピック、ツール、指示) は Dataverse PredictV2 を通じて AI モデルに送信されます。 これは標準的な Dataverse AI モデルの呼び出しパスを経由し、Dataverse AI 運用と同様にデータ所在地ポリシーの対象となります。
• データは、サード パーティ サービスや外部エンドポイントには送信されません。
• レビュー結果 (PDF を含む) は Dataverse に独占的に保存されます。

初回起動時のエクスペリエンスとウェルカム ツアー

ユーザーが初めてエージェント レビュー ツールを開くと、ウェルカム ツアーがインターフェイスの主要な部分を案内します。

1. ダッシュボードのステータス カードとそれが意味するもの
2. エージェント グリッドの読み方
3. レビューの開始方法
4. 結果の解釈方法
5. エクスポート オプション

ツアーの進捗状況は Dataverse に保存されるため、完了した後にツアーが繰り返されることはありません。 ユーザーはページ ヘッダーの ヘルプ/クイック リンク セクションからいつでもツアーを再開できます。

よくあるご質問

このセクションでは、エージェント レビュー ツールに関するよくある質問にお答えします。

レビューの所要時間はどれくらいですか?

トピック数が 20 未満の一般的なエージェントであれば、60 秒未満で完了します。 ツールには 2 分間のハード タイムアウトがあります。 非常に大規模なエージェント (トピック数が 50 を超え、多くのツールを含む) の場合、上限に近づく可能性があります。

ツールが私のエージェントを変更することはありますか?

番号 このツールはエージェント データに関して完全に読み取り専用です。 エージェントの構成を読み取るだけです。 すべての書き込み処理は cat_agentreviews テーブルに対してのみ行われます。

変更を加えた後にエージェントを再レビューできますか?

はい レビューを実行するたびに、新しいレコードが作成されます。 グリッドには常に最新のレビューが表示されます。 過去のレビューは Dataverse 内にそのまま残り、必要に応じてプログラムでアクセスできます。

私のエージェントが異なる環境にある場合はどうなりますか?

ダッシュボードの環境セレクターを使用して、あなたがアクセスできる別の環境にツールを向けます。 レビューはその環境に対して実行され、結果は現在の環境に保存されます。

自分で作成していないエージェントをレビューできますか?

はい Dataverse 内で読み取り権限を持っているエージェントであれば、どれでもレビューすることができます。 ただし、あなたが 見る ことができるのは、自分が作成したレビューのみです (行レベル セキュリティ)。 他のユーザーのレビューは表示されません。

SARIF とは何ですか? 私に必要なものですか?

SARIF は静的分析結果の標準フォーマットです。 エージェントの品質チェックを CI/CD パイプライン (GitHub Actions や Azure DevOps) に統合する場合に限り必要です。 ほとんどのユーザーは、PDF や Excel のエクスポートで十分です。

ツールに、私のエージェントに指示が設定されていないと表示されます。 それは問題ですか?

はい このツールは生成 AI が有効になっているエージェントのみを表示するため、グリッド内のすべてのエージェントに指示が設定されている必要があります。 コンプライアンス チェックで指示が報告されない場合は、エージェントの生成オーケストレーションはアクティブですが、システム指示がまだ作成されていません。 指示を追加することを強く推奨します。

「ペルソナとトーン」の重大度が低いのはなぜですか?

Microsoft のガイダンスでは、Copilot Studio エージェントにはすでにプロフェッショナルで丁寧な口調がデフォルトの行動とされています。 トーンについての指示は、デフォルト トーンでないトーンにしたい場合のみ必要です。 この基準が低に設定されているのは、これを満たせなかったとしても、ユーザーが直面する問題を引き起こすことがほとんどないためです。

レビューを実行すると Copilot クレジットは消費されますか?

はい レビューを 1 回実行するごとに、AI モデルが 3 回呼び出されます。具体的には、パターン評価、指示コンプライアンス、PDF 生成です。 各呼び出しはテナントから Copilot クレジットを消費します。 同じエージェントを再レビューしてもクレジットが消費されるので、まず変更を加えてから再レビューしてください。

すべてのレビューを一度にエクスポートできますか?

はい エージェント グリッド ツール バーの すべてエクスポート ボタンを使用すると、現在のビューに表示されているすべてのレビュー済みエージェントを網羅した Excel ブックが生成されます。

関連情報

• Copilot エージェント キットの概要
• Copilot エージェント キットのインストール
• 生成モード ガイダンス
• Copilot Agent Kit でエージェントを構成する
• Copilot Agent Kit のエージェント インベントリ