監控 Copilot Studio 中的代理表現

Note

本文描述由 標準線束驅動的代理或代理流程中使用的功能。

使用分析來了解您的 Agent 的表現並確定需要改進的領域。

Copilot Studio 中的監控頁面會總結關鍵指標,並提供您的代理程式元件的使用分析。 打開個別指標來探索底層資料。

Monitor 體驗專為 對話型代理 及 自主代理量身打造。

監測服務遍及所有地區。 監測數據可長達360天。 過去28天的會議詳情及逐字稿資訊皆可查閱。 分析中的時間與日期以協調世界時(UTC)為單位。 時間與日期標記包含了一天的開始與結束時間、工作階段時間,以及您代理人數據中的其他時間點標記。

Note

Monitor 頁面不會顯示你在 Copilot Studio 中使用 測試面板 測試代理程式時所完成活動的分析資料。

授予檢視分析的有限權限

如果你是代理擁有者,請將代理與 分析檢視 器共享角色,只授權存取其 監控 頁面。 要存取對話逐字稿資訊,該人還必須具備 Bot Transcript Viewer 安全性角色。

在 分享客服人員分析功能中了解更多。

Important

作為客服人員擁有者,你只能與個人分享分析檢視者的角色,不能與用戶群組分享。

要存取您代理人的 監控 頁面:

  1. 在 Copilot Studio 中開啟您的代理程式。
  2. 在上方選單列選擇 「監視器 」。

Summary

Summary 區域利用 Copilot 生成關於你經紀人的關鍵分析洞察的 AI 摘要。 選取 [ 檢視更多 ] 以查看深入解析的完整摘要清單。

Copilot Studio 中監視器頁面的螢幕截圖,顯示展開的摘要卡片。

它能幫助你快速理解常見的主題和指標,並在所選報告期間,以項目符號清單的方式總結,找出代理人需要改進的領域。 此清單可包含互動指標、顧客情緒與回饋,以及自上一報告期以來的趨勢。

顧客評論摘要(預覽)

[本章節是預先發佈文件,可能會有變更。]

客戶意見摘要能幫助你從回饋和評論中了解顧客對該客服人員的整體感受。 洞察會根據相關評論的數量及其整體重要性來優先排序。 摘要功能會過濾掉低價值或無關的留言,並將相關回饋彙整。

Important

本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。

預覽功能不供生產時使用,而且可能功能受限。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。

如果你正在打造一個準備好上線的代理程式,請參考 Microsoft Copilot Studio 概述。

若要對此區塊向 Microsoft 提供意見反應,請選取 「讚」 或 「倒讚」。 請使用「提交回饋給 Microsoft」面板,新增評論並選擇是否分享相關檔案。

  1. 在 [將 意見反應提交給 Microsoft ] 面板上,根據您選取開啟面板的圖示,以自然語言描述您的喜好或不喜歡。
  2. 選擇是否分享提示、生成回應、相關內容範例及額外日誌檔案。
  3. 選取送出。

Overview

在 概覽 區查看高階績效摘要,然後更詳細地探索個別指標。

活躍用戶

活躍使用者指標顯示對話式代理的採用情況及其隨時間的變化。 作用中使用者是在報告期間與交談客服專員互動至少一次的唯一使用者。 Monitor 頁面顯示每日活躍用戶(DAU)及每月活躍用戶(MAU)。 每日計數涵蓋整整24小時UTC時間。 月度計數依照UTC的曆月計算。

Important

只有當您在設定>>下將代理程式設定為需要驗證時,才支援作用中使用者指標功能。

螢幕截圖為「監視器」標籤上的「概覽」區段,其中「平均 DAU」被框選,並顯示詳細的「主動使用者」面板選擇。

所選期間的平均DAU及其與前一期間的百分比變化,會作為關鍵績效指標(KPI)出現在 概覽 章節中。

Note

平均 DAU 計算指標的公式為: (sum of all full-day active user counts in the period) / (count of full days in the period)。

若想查看每日及每月活躍用戶數量隨時間趨勢的詳細資訊,請在總覽面板右上角點選「 查看活躍用戶 」按鈕。

僅限對話工作階段

Copilot Studio 中的對話式客服人員分析會追蹤使用者與您的客服人員的互動情況,並嘗試捕捉您的客服人員處理使用者任務的表現。

對話分析使用以下概念和術語:

  • 對話是頻道中特定使用者或一群 用戶與你的 客服人員之間持續進行的互動。

  • 交談可以暫停並稍後恢復,或轉移給客戶服務代表。 對話可能是單向的,可能是客戶對客服人員,或是客服人員對客戶,但更常見的是客戶與客服之間的來回互動。

  • 對話在閒置 30 分鐘後會逾時。

  • 對於發佈到電話頻道的客服人員,通話會在結束 通話 事件後 3 分鐘自動超時。

  • 單一交談可以包含一個或多個分析工作階段。

  • 由 Standard harness 驅動的分析工作階段會與使用者最後觸發的自訂主題相關聯。 如果該會話沒有包含自訂主題,那就是使用者直接觸發的最後一個系統主題。

僅限事件觸發工作階段

自主代理程式是具有事件觸發條件的代理程式。 這些代理只支援 帶有觸發器的代理的分析功能。

具有觸發條件的代理程式,其分析工作階段會追蹤從代理程式接收來自觸發條件的酬載開始,到代理程式因應該觸發條件而執行任何動作為止的整個過程。 這些分析工作階段會擷取您的代理程式正在回應的內容,以及代理程式的表現如何。

Note

如果觸發程序失敗且 Agent 未收到觸發程序承載,則分析工作階段無法開始。 分析工具只追蹤成功觸發的運行。

混合檢視 - 同時顯示交談與活動觸發的工作階段

當您的客服人員資料包含報告期間內至少一次對話及至少一次觸發式執行時, 監控 頁面會顯示對話與自主會話相關指標的 混合 視圖。 在此視圖中, 概述 與 效能 區塊並列顯示對話與事件觸發會話的指標。 使用區段可讓您在交談或執行之間進行選取,僅顯示相關資料。 選取全部會顯示所有使用相關資料。 滿意度區段顯示對話工作階段的滿意度指標。

進一步了解:

下載交談文字記錄

你可以在 Copilot Studio 下載過去 28 天內的工作階段轉錄內容。 分析會話結束後,相關資料可能要等上一小時,才會出現在分析儀表板上。 在 Copilot Studio 下載對話文字稿中,了解更多可用性、權限及下載步驟。

Dataverse 的逐字稿保存與 Copilot Studio 的 28 天會話資料視窗是分開的。 如需詳細資訊,請參閱在 Power Apps 中下載交談文字記錄。

主題使用分析

在 Copilot Studio 中,一個主題定義了客服對話的進展,並代表使用者與客服之間對話的一部分。 主題監控面板顯示單一主題的表現,包括觸發頻率、包含該主題的會話如何解決,以及使用者對這些會話的滿意度。 利用這些洞見找出經常被升級處理或被放棄的主題,並優先改善它們。 在 「建立與編輯主題」中了解更多。

Note

主題監控僅適用於由 Standard harness 驅動的代理程式及與 會話相關的主題。 如果你的客服使用生成式協調,請改用監控頁面上的對話結果和主題。

若要查看主題監控面板:

  1. 請前往 Copilot Studio 中你代理程式的主題頁面。

  2. 選擇你想分析的主題。 若無主題,請參閱 「建立與編輯主題」。

  3. 在 主題 頁面右上角,選擇 「更多 (...) >監控。

主題的「更多」選單截圖,其中已標示「監控」選項。

主題監視器面板顯示:

  • 主題結果:針對觸發此主題的工作階段,顯示工作階段結果、Escalated、Resolved及Abandoned的圖表。 利用此圖表快速評估主題健康狀況。 高比例 Escalated 或 Abandoned 結果可能代表主題需要改進。
  • 主題總使用量:主題結果隨時間變化趨勢的圖表。 利用此方法偵測迴歸,例如主題編輯後放棄會話數量激增,或確認近期變更是否提升了解決率。
  • 客戶滿意度分數:根據與此主題相關的工作階段中使用者調查回應而得出的分數。
  • 滿意度分數趨勢:一張顯示 滿意度分 數隨時間變化的圖表。 利用此趨勢找出用戶情緒下降或改善的時期。

要更改時間範圍,請在主題「監控」面板頂端選擇「時間範圍」下拉選單。

指標重新整理頻率

監控頁面上的指標更新頻率不同。 下表顯示更新資料何時可用。

計量類型 刷新率 Metrics
一般指標 最多兩小時 會話、 使用者問題、 知識來源、 工具、 連線代理、 反應、 會話結果、 節省、 AI 摘要
AI 指標 Daily 回應品質、 情感分析、 主題分類、 客製化指標
主題生成 Weekly 生成主題
Cost 幾個小時 成本消耗

Note

主題分類與主題產生有不同的更新率。 新題目每日分類為主題,而產生的主題清單則每週更新。

衡量 AI 代理人的投資報酬率(ROI)與商業價值