Copilot エージェント キットは、Copilot Studio での体験を向上させるために設計されたツールキットです。 Power Customer Advisory Team（Power CAT）は、開発者がカスタムエージェントを構築、管理、テスト、最適化するためのツールを提供するキットを作成し、現在も維持管理しています。
機能をテストする
Copilot エージェント キットを使用すると、作成者はエージェント、テスト、テストセットを構成し、それらを使用して独自のエージェントをバッチ処理でテストすることができます。 テストの実行では、レイテンシー、観測された応答、合格・不合格の結果など、詳細な結果が得られ、問題の特定や品質の向上に役立ちます。
Note
Copilot エージェント キットのテスト自動化機能において、生成応答に対するユーザー定義のルーブリックがサポートされるようになりました。 詳細については、「 テストでルーブリックを使用する」を参照してください。
詳細は 「Enhanced agent testing」をご覧ください。
コンプライアンスハブ
コンプライアンス ハブは、組織が大規模な Copilot Studio エージェントのガバナンス ポリシーを定義して適用するのに役立ちます。 エージェント インベントリを通じて収集されたエージェントの設定情報を、構成済みの制御項目と照らし合わせて継続的に評価し、リスクやポリシー違反を特定します。
管理者は、しきい値、リスクレベル、SLA タイマー、強制措置 (手動によるレビュー、隔離、削除) を構成できます。一方、作成者は、Teams や Outlook の通知を通じて、問題の是正を行うよう案内されます。
Copilot Agent Kit Compliance Hubで「エージェントコンプライアンスの定義と強制」をご覧ください。
エージェント インサイト ハブ
エージェント インサイト ハブは、管理者と作成者が一元化された分析機能を活用して、Microsoft Copilot Studio のエージェントを監視できるよう支援します。 Azure アプリケーション Insights からのテレメトリデータと会話のトランスクリプトを集約し、利用状況、品質、運用上の傾向を可視化します。
詳細は Agent Insights Hubをご覧ください。
エージェント デバッガー
エージェント デバッガーは、管理者が録音された会話を調査し、エージェントがどのように応答を作成したかを把握する際に役立ちます。 トラブルシューティングや最適化を支援するため、段階的な診断の詳細情報を提供します。
詳細は、エージェント デバッガーを参照してください。
エージェント ライブラリ
エージェント ライブラリは、作成者があらかじめ作成されたエージェントのテンプレートや再利用可能なコンポーネントを発見、インストール、管理する際に役立ちます。 開発を加速し、エージェントの実装間での一貫性を高めるための、一元化されたカタログを提供します。
詳細は、エージェント ライブラリを参照してください。
パワーシールド
Power Shield は、承認ベースのワークフローを通じて、組織がデータ漏洩防止 (DLP) ポリシーにおけるコネクタへのアクセスを管理できるよう支援します。 作成者はコネクタへのアクセス申請を行うことができ、管理者はガバナンス要件に基づき、その申請をレビューし、承認または却下できます。 また、コンプライアンスに関するアンケート、通知設定、サービス ツリーや環境コンテナに対するスコープ指定リクエストにも対応しています。
詳細については、Power Shield を参照してください。
ルーブリックの改良
ルーブリックの改良は、Copilot エージェント キットが備える強力な機能の一つであり、生成 AI が生成した応答に対する再利用可能な評価基準 (ルーブリック) を作成、テスト、そして反復的に改善できます。 この機能により、並行テストの実施、採点の一貫性の確保、長期にわたるルーブリックの調整が可能になります。
詳細については、ルーブリックの改良を参照してください。
会話のKPI
会話 KPI (主要業績評価指標) は、作成者がカスタム エージェントのパフォーマンスを追跡および分析するのに役立ちます。 会話に関する KPI は、集計データを一か所にまとめて提供することで、Copilot Studio に組み込まれた分析機能を補完します。
詳細については、会話 KPI を使ってエージェントのパフォーマンスを追跡するを参照してください。
SharePoint同期
SharePoint の同期により、作成者は SharePoint の各場所から選択したコンテンツを、ファイルとしてカスタム エージェントのナレッジベースに定期的に同期できます。
詳細にちては、SharePoint 同期でエージェントの応答を改善するを参照してください。
プロンプト アドバイザー
Prompt Advisor は、作成者がユーザー入力を改善するための適切に構造化されたプロンプトを作成するのに役立ちます。 作成者はプロンプトを入力すると、信頼度スコアや詳細な分析結果、さらに改良して再利用できる最適化されたプロンプトの提案を受け取ることができます。
詳細については、プロンプト アドバイザーでプロンプトを改善するを参照してください。
ウェブチャットプレイグラウンド
Webchat Playground は、エージェント Web チャットの外観と動作 (色、フォント、サムネイルなど) をカスタマイズするのに役立ちます。
詳細については、Webchat Playground で Web チャットの外観をカスタマイズするを参照してください。
アダプティブ カード ギャラリー
アダプティブ カード ギャラリーには、さまざまなシナリオに対応するアダプティブ カード テンプレートが用意されています。 これらのテンプレートは、アダプティブ カードのビジュアルや動作の拡張性を示しており、エージェント側でのインタラクションの例も含まれています。
詳細については、アダプティブ カード ギャラリーでユーザー エンゲージメントを強化するを参照してください。
エージェント インベントリ
エージェント インベントリを使用すると、管理者は組織内のすべてのカスタム エージェントをテナント全体で表示できます。 これには、使用中の機能、認証モード、サポート情報ソース、その他の主要なメタデータに関する詳細情報が表示されます。
詳細については、エージェント インベントリでエージェントを監視するを参照してください。
エージェント レビュー ツール
エージェントレビューツールは、パフォーマンスやセキュリティに悪影響を及ぼす可能性のある潜在的な問題やアンチ パターンを、エージェントを対象にチェックするソリューション分析ツールです。 分析後、エージェント レビュー ツールは、調査結果に対処するための推奨事項を提示します。
詳細については、エージェントレビューツールを使ってエージェントを分析するを参照してください。
会話分析ツール
会話アナライザーは、作成者がカスタム エージェントのトランスクリプトを分析し、カスタム プロンプトを使用して実用的な分析情報を得られるよう支援します。
詳細については、会話のトランスクリプトを分析するを参照してください。
エージェント値
Agent Value コンポーネントは、Copilot Studio エージェントを種類、動作、値別に分類するためのモジュール式ツールです。 これにより、組織は各エージェントのロールを把握し、エージェントを戦略的目標に沿って配置し、その効果を評価できるようになります。
詳細については、エージェントの値を測定するを参照してください。
Power Platform でのパイプラインを使用した自動テスト
この機能は、Power Platform Pipelines を使用して、Copilot Studio のカスタム エージェントのテストと展開を自動化します。 その目的は、エージェントが環境間で展開される前に、テストを通じて自動的に検証されるようにすることです。
詳細については、Power Platform のパイプラインによるエージェントのテストと展開の自動化を参照してください。