[この記事はプレリリース ドキュメントであり、変更されることがあります。]
新しいエージェント体験の モニター タブは、エージェントの最近の活動状況やセッション全体の効果を表示できます。 主な指標には 、会話セッション 数(エージェントが会話をどのように処理したか)、 ユーザーエンゲージメント (メッセージ数とセッション時間)、コストと節約の見積もり、 総反応数、 応答の質が含まれます。
モニタータブを過去360日以内に発生したイベントを表示するように絞り込むことができます。
Note
この記事の機能は、GitHub Copilot harnessを搭載するエージェントやワークフローで使用されています。
使用率に基づく請求は、エージェントの使用、構築、テスト、評価に適用されます。 これらの行動はCopilotクレジットを消費することがあります。 詳細は「GitHub Copilot harnessで動くエージェントのコスト管理」をご覧ください。
Note
監視タブは、エージェントを公開するまでは利用できません。 公開するには、[ビルド] タブで公開を選択します。
Overview
概要パネルはエージェントの高レベルのKPI指標を提供し、全体的な効果を総合的に把握できます。 概要パネルの主な指標は以下の通りです:
- 会話セッション:これには関与したセッションと非関与セッションの両方が含まれます。
- 総反応数:ユーザーがエージェントメッセージに対して送った反応の総数。
- 平均1日アクティブユーザー数:選択した期間の平均1日アクティブユーザー数。
- 平均ラン時間:エージェントが開始から終了までのランを完了するのにかかる平均時間。
- 総実行回数:選択した期間中にエージェントがトリガーされ実行された総回数。
- 成功率:選択した期間中にエラーなしで成功したランの割合。
アクティブなユーザー
アクティブユーザー指標は、会話型エージェントがどの程度採用されているか、またその傾向が時間とともにどのように変化するかを示す洞察を提供します。 アクティブ ユーザーは、レポートの期間中に少なくとも 1 回は会話エージェントと対話した一意のユーザーです。 Copilot Studio Monitorタブでは、あらかじめ決められた2つの期間のアクティブユーザー数を表示します:日次アクティブユーザー(DAU)と月間アクティブユーザー(MAU)。 日次カウントは、UTC タイム ゾーンで 24 時間の完全な日に従って開始および終了します。 月単位の数はカレンダー月に従い、UTC タイム ゾーンに従って最初と最後の日に開始および終了します。
Important
アクティブユーザーメトリクス機能は、エージェントの設定>安全およびアクセス>認証で認証を義務付ける設定をした場合のみサポートされます。
選択した期間の平均 DAU と、前の期間からの変化率は、[ 概要 ] セクションに主要業績評価指標 (KPI) として表示されます。
Note
平均 DAU 計算メトリックの数式は、 (sum of all full-day active user counts in the period) / (count of full days in the period)です。
時間の経過に伴う日次および毎月のアクティブユーザー数の詳細を表示するには、概要パネルの右上隅にある [ アクティブなユーザーの表示 ] ボタンを選択します。
ビリングス
エージェントのモニターページでは、選択された期間のエージェントの合計請求済みCopilotクレジットが表示されます。 課金情報の詳細を表示するには、[課金の 表示] を選択します。 この選択は請求トレンドチャートのサイドパネルを開き、選択した期間中のエージェントの請求済みCopilotクレジットの変化を示します。 グラフ内のポイントにカーソルを合わせると、Copilot クレジットの数が表示されます。
分析データは、新しい課金済み Copilot クレジットで更新されるまでに数時間かかるため、最近のアクティビティに関するデータが表示されない場合があります。
節約
節約パネルを使って、エージェントがどれだけの時間と費用を節約できるかを見積も り ましょう。 Savings 計算ツールを使用して、実行ごとの節約額を見積もるか、エージェントが使用する 1 つ以上のツールの節約額を計算します。 計算された指標が表示されていない空の貯蓄パネルがある場合は、「 節約計算」を選択してください。
「 Per run 」または「 Per Tool」のどちらかを選択します。
1回のランあたりの節約を推定するには、「 エージェントの1ランあたりの節約推定」を参照してください。
エージェントの各ツールで節約できる時間やコストを計算するには、「 エージェントのツールごと節約を計算する」をご覧ください。
リアクション
[ Reactions]\(反応\ ) セクションには、反応からエージェントの応答まで収集されたユーザー フィードバックが表示されます。 このグラフは、ユーザーがエージェントから受け取った各回答に対して、サムアップ (肯定的) ボタンまたはサムダウン (否定的) ボタンのいずれかを選択した回数をカウントしています。
Note
- Microsoft 365 Copilot チャネルに公開されたエージェントは、反応をサポートしていません。
- コメントを表示するには、ボット トランスクリプト ビューアー セキュリティ ロールが必要です。
既定では、[リアクション] 機能は [オン] です。 必要ならオフにすることもできます。 ユーザーのフィードバックの使用に関する免責事項を追加または編集することもできます。
エージェントを開き、「 設定」を選択し、「 安全とアクセス」 タブを選択してください。
ユーザーフィードバックをオンまたはオフにしてください。
Bot Transcript Viewer 権限を持つユーザーは、 個々のリアクションに対するエージェントの応答にドリルダウン し、 ユーザー コメントでフィルター処理できます。
時間経過の反応傾向を見るには、「反応」タイルの「詳細を見る」を選択して反応サイドパネルを開きます。 このパネルは、時間の経過でいいねと悪いねからの肯定的および否定的な反応の傾向を示しています。
ツールの使用
ツールの使用状況セクションでは、ツールが起動される頻度を時間軸で追跡するグラフと指標、エージェントがそれらのツールを正常に使用した頻度が表示されます。 また、エージェントが各ツールを使用する頻度を示す傾向指標と、呼び出されたツールのうち正常に使用された割合も表示します。
このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。
グラフの下の凡例で、いずれかのツールにカーソルを合わせると、グラフ内でそのツールが強調表示されます。
指定した期間に使用されたすべてのツールの一覧とトレンド指標を表示するサイドパネルを開くには、チャート上の詳細を表示を選択します。 ツール使用状況パネルでは、各ツールで使用された問題の割合の計算結果を表示できます。 エージェントに子エージェントがある場合、メインエージェントと子エージェントの両方 (すべて)、メイン エージェントのみ、または子エージェントのみの計算結果を表示するように選択できます。