ユーザーの質問、セッション、フィードバック データを調べる

Note

本記事では 、標準ハーネスで駆動されるエージェントやエージェントフローで使用される機能について説明します。

Copilot Studioのドリルダウン分析機能を使用して、エージェントとのユーザー操作に関する詳細な分析情報を得ることができます。 個々のユーザーの質問を調べて、応答の品質を理解し、知識のギャップを特定し、ユーザーがエージェントの応答にどのように反応したかを確認できます。 また、会話セッションにドリルダウンして、詳細なセッション データを調べたり、会話の結果を追跡したり、チャネル間のパフォーマンスを分析したりすることもできます。 エージェントに対するユーザーの応答を分析します。 これらの詳細ビューは、エージェントの主要なメトリックを推進する基になる要因を理解し、改善のための領域を特定するのに役立ちます。

ユーザーの質問の一覧を詳細に調べる

ドリルダウンして、メトリックとサポート コンテキストに貢献した特定の質問 (エージェントの応答方法、ユーザーの反応、関連するナレッジ ソースなど) を表示します。 このビューは、応答の品質に関するより良い分析情報を提供し、ナレッジ カバレッジの可能性のあるギャップを特定するのに役立ちます。

Important

リストとそのメトリックを表示するには、 Bot Transcript Viewer セキュリティ ロールが必要です。 管理者のみが、エージェントの共有時に ボット トランスクリプト ビューアー セキュリティ ロールを割り当てる ことで、このロールを付与することができます。

単一またはグループ環境でこのセキュリティ ロールを有効にするには、「 トランスクリプト設定を構成する方法」を参照してください。

現在、質問の一覧へのドリルダウンは、生成された回答率と品質、ナレッジ ソースの使用に関するメトリック パネルでサポートされています。

[モニター] タブの [生成された回答率と品質] パネルおよび [ナレッジ ソースの使用] パネルのスクリーンショット。

質問ウィンドウの一覧にドリルダウンするには:

  • [ 生成された回答率と品質 ] パネルで、[ 質問の表示] を選択します。
  • [生成された回答率と品質] パネルで、上にマウス ポインターを合わせ、[良い] または [低] の回答バー セグメントを選択します。
  • [生成された回答率と品質] パネルで、[回答済み] または [未回答] の質問の割合メトリックを選択します。
  • [ナレッジ ソースの使用] パネルで、一覧表示されているソースのいずれかをクリックするか、[すべて表示] を選択して、エージェントで使用されているすべてのナレッジ ソースのページを開き、目的のソースを選択します。

ユーザーの質問リストは、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、質問リストの上の既定のフィルター設定に反映されます。 たとえば、[生成された回答の品質] タイルで [低品質] バーの不適切なバー セグメントを選択すると、一覧に表示されている質問に対して [応答品質] フィルターがIrrelevantに設定されます。

必要に応じて、リスト ページで次のアクションを実行できます。

質問ウィンドウの一覧には、次のものが表示されます。

Column 説明
Question 質問がされた。
答えた 生成 AI 応答の状態: 回答済みまたは応答なし。
応答の品質 サンプリングされた質問の応答品質。 可能な値は、Poor と Good です。
反応 親指を立てるか、親指を下げるか、または反応をしないかを選び、必要に応じてテキストベースのコメントを追加することができます。
日付 質問が回答された日付。
知識源 エージェントの応答で引用されたナレッジ ソースの一覧。

詳細については、[質問の 詳細を表示 ] を選択して、質問の詳細サイド パネルを開きます。 このパネルには、各質問に関連する応答品質に関する追加の分析情報が表示されます。

詳細な質問レベルのパラメーター 説明
タイム スタンプ 質問が回答された最新のインスタンスのタイムスタンプ。
トランスクリプトを表示する セッションの書き起こしを開き、セッションの詳細を記載します。
ユーザー クエリ 質問がされた。
応答 生成 AI 応答。
高評価/低評価の値 Thumbs up/Thumbs down パラメーターに対するこの質問の最新のインスタンスの値。
コメント ユーザーが提供する、サムアップ/サムダウン の応答に加えて追加で入力可能なテキスト ベースのコメント。
応答品質1 ユーザー クエリに対する応答の品質に関する質問に対する回答。 可能な値は、Poor と Good です。
理由2 応答品質が Poor場合、このパラメーターはその理由を説明します。

1 応答品質は常に使用できるわけではありません。品質分析のために質問がサンプリングされた場合にのみ表示されます。

2 応答品質が Good の場合、または質問がサンプリングされなかった場合、Reason パラメーターには値が割り当てられません。

セッションを詳細に分析する

セッションにドリルダウンして、メトリックに貢献した特定のセッションを表示し、基になるセッション データを調べます。 このより深いビューは、最上位レベルのエージェント メトリックの背後にある 理由 と 方法 を理解するのに役立ち、潜在的な問題を特定して調査することができます。

セッションの一覧を使用してエージェントのパフォーマンスを分析し、セッションの結果 (resolved、 escalated、 abandoned、または unengaged) につながるセッション レベルのデータを調べることで調査します。 たとえば、チャネルでフィルター処理し、低 CSAT セッションに焦点を当て、セッション データを掘り下げ、それらのチャネルの顧客のエクスペリエンスが低下している理由を把握します。

セッションリストウィンドウにドリルダウンするには:

  • [会話の結果] パネルで、[セッションの表示] を選択して、分析期間のすべてのセッションを表示します。
  • [会話の結果] パネルで、[詳細を表示] を選択します。 これにより、会話セッションの結果に関するその他のメトリックのサイド ウィンドウが開きます。 強調表示されているメトリック プロットを選択して、セッションのフィルター一覧を表示します。

セッション一覧は、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、セッション一覧の上の既定のフィルター設定に反映されます。 たとえば、会話の結果 サイド ペインで、解決済み確認済みのバー セグメントを選択すると、セッションの結果と結果の理由がそれぞれ解決済みおよび解決済みの確認済みにセットされます。

必要に応じて、[*Sessions]\(セッション\) リスト ページでより多くのフィルター処理を適用して、リストのディメンション フィルターを使用してセッションのリストをさらに絞り込むことができます。 いずれかのセッションをクリックすると、セッショントランスクリプト ウィンドウが表示されます。

Note

  • セッションを表示するには、 Bot Transcript Viewer のセキュリティ ロールが必要です。

  • セッションの一覧は毎日更新され、1 日あたり最大 10,000 セッションが表示されます。 過去 28 日間のセッションのみが保存され、表示できます。

セッション ウィンドウの一覧は、次のパラメーターで並べ替えられます。

詳細なセッション レベルのパラメーター 説明
[開始時間] セッションが呼び出されたときのタイムスタンプ。
期間 エージェントとの会話の長さ (分と秒で表示)。
Messages ユーザーとエージェントの間で交換されたメッセージの数。
結果 エージェントの会話の結果。 指定できる値は、Resolved、Escalated、Abandoned、および Unengaged です。
結果の理由 セッションの結果が発生した理由を説明する追加のコンテキスト (システム エラーや暗黙的な解決など)。
チャネル 会話が行われたチャンネル、例えばTeams、Microsoft Copilot、SharePointなどです。
満足度 利用者フィードバックに基づくセッションの顧客満足度評価(可能であれば)。 指定できる値は、Satisfied、Neutral、Dissatisfied です。
センチメント 可能であれば、ユーザーフィードバックに基づくセッションの感情分析。 指定できる値は、Positive、Neutral、Negative です。

セッション リストのドリルダウン ウィンドウのスクリーンショット。

ユーザーのフィードバックと満足度を分析する

高レベルのメトリックに加えて、ユーザーフィードバックは、ユーザーが反応、コメント、アンケート結果、センチメント分析を通じてエージェントの応答をどのように認識するかについての直接的な洞察を提供します。 ユーザーのコメントや反応をドリルダウンすることで、ユーザーが特定のエージェントの応答について気に入ったり嫌ったりしたことを理解したり、ユーザーの満足度の傾向を特定したり、エージェントが優れている、または改善が必要な特定の領域を明らかにしたりできます。 これは、ユーザーのセンチメントを理解し、エージェントのパフォーマンスを継続的に改善するのに役立ちます。

コメントを詳しく見る

ユーザーが反応した後は、コメントを残すことができます。 モニターページでユーザーコメントにドリルダウンするには、リアクションタイルのコメントアイコンを選択します。

必要に応じて、[ コメント ] リスト ページで次のアクションを実行できます。

リアクションをドリルダウン

個々のユーザーの反応に寄与するエージェントの応答の一覧にドリルダウンするには、[ リアクション ] 円グラフで、 サムアップ または サムダウン 円セグメントのいずれかを選択します。 既定では、エージェントの応答の一覧 ( [リアクション ] リスト) は、ドリルダウンしたユーザーの反応に基づいてフィルター処理されます。

必要に応じて、[ リアクション ] リスト ページで次のアクションを実行できます。

  • 最終更新: