監控對話式代理程式的效能

Note

本文說明由標準執行架構驅動的 Agent 或 Agent 流程中所使用的功能。

使用 Copilot Studio 的Monitor頁面,檢視你的對話代理在分析工作階段中的成效。 找出對話成功或破裂的地方,檢視使用者回饋,並尋找改進回答與工具使用的機會。

請檢視以下區域:

  • 「摘要」、「概觀」和「節省」區域會顯示重要的深入解析、關鍵績效指標 (KPI),以及預估的時間與成本節省效益。
  • 自訂 指標(預覽) 區塊讓你可以定義針對代理程式的使用案例的業務專屬指標。
  • 效能部分幫助你評估使用者體驗的品質,透過展示對話成功的地方、失敗之處,以及使用者對結果的感受。
  • 使用區塊幫助你提升營運效能,展示客服人員回答問題的能力、工具與知識來源如何可靠支持這些答案,以及針對性更新能提升覆蓋範圍與一致性。

您可以查看過去 360 天內發生的事件分析數據。

自訂計量 (預覽)

[本章節是預先發佈文件,可能會有變更。]

自訂指標區塊允許你以自然語言定義最多三個企業專屬指標。 Copilot Studio 會根據你的描述產生分類類別或數值評分標準。 Preview 使用範例工作階段來幫助你測試指標。 儲存後,Copilot Studio 會計算過去七天所有適用會話的指標,然後每天計算新會話的指標。

Important

本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。

預覽功能不供生產時使用,而且可能功能受限。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。

如果你正在打造一個準備好上線的代理程式,請參考 Microsoft Copilot Studio 概述。

如果您具有「機器人文字記錄檢視者」資訊安全角色,就可以選取類別或結果,向下切入至客戶工作階段清單。 從工作階段清單中,你可以檢視指標結果背後的推理,並打開個別工作階段的逐字稿。

在 「使用自訂指標監控您的代理程式(預覽)」 中,了解更多關於建立、測試與精煉指標的資訊。

有效性

成效區段顯示的是一個會話中從用戶反應、客服回應、調查結果及情緒分數中收集的回饋。 效能分為多個子類別:

  • 對話成果:了解對話的最終結果,有助於你開始辨識經紀人在哪些方面成功,哪些地方需要改進。
  • 反應:用戶回應,包括對特定經紀人回應的讚/踩反饋及用戶評論。
  • 顧客滿意度:顯示客戶滿意度(CSAT)分數。
  • 情感(預覽):整場會議的 AI 情感分析。
  • 客服人員:查看子客服人員和已連接的客服人員的通話量指標、成功率及目前狀態。

系統將回饋資料儲存在 Dataverse 的 對話逐字稿表 中。

交談結果

交談結果區塊顯示一張圖表,追蹤您 Agent 與使用者之間每次工作階段的結果類型。

結果和參與度圖表的螢幕擷取畫面。

該圖表顯示會話結果的堆疊直方圖或堆疊區域圖。 「已解決」、「已升級」、「已放棄」和「非互動式」在圖例中各有對應的色彩。 縱軸表示工作階段的數量。

要查看特定日期的成果指標,請使用圖表圖例識別該成果,然後將滑鼠移至該日的該區段。

要下載對話結果資料,請打開圖表選單並選擇 下載 CSV 檔案。

Note

如果你在下載時移除圖表中的結果,它們的資料就不會出現在 CSV 裡。

若要開啟包含詳細對話結果資訊的側面板,請選擇查看圖表上的詳細資訊。 對話成果側面板包括:

  • 一個圓餅圖分解工作階段結果,顯示已解決、升級及放棄結果的相對權重 (以百分比表示)。
  • 一張堆疊長條圖,顯示所有已解決工作階段結果中,已解決 (已確認) 與已解決 (隱含) 結果原因的相對權重 (以百分比表示)。
  • 一個堆疊條狀圖,顯示系統意圖、系統非預期及使用者請求結果原因的相對權重 (百分比),描述所有升級工作階段結果。
  • 導致每個結果的主要議題。

Note

若要查看包含原始計數資訊的工具提示,請將滑鼠移至任何圓餅圖或堆疊條形圖區段上。

會話分為以下兩種狀態之一:

  • 未參與:當使用者與您的 Agent 互動,或 Agent 向使用者發送主動訊息時,工作階段就開始了。 工作階段會在未啟動狀態下開始。

  • 參與:使用者主動與客服專員互動。 根據 代理程式的協調流程模式,行為會有所不同。

    • 傳統協調流程:當下列其中一個主題被觸發時,工作階段即進入活動狀態:

      • 使用者直接觸發的自訂主題
      • 升級主題
      • 後備主題
      • 交談增強主題
    • 生成式 AI 編排:當使用者直接觸發計劃並包含下列其中一個元素時,會話就會啟動:

      • 非系統主題
      • 升級主題
      • 後備主題
      • 知識來源
      • 工具

互動式工作階段會產生以下結果之一:

結果類別 結果 Description
已解決 工作階段成功結束。 已解決的會話有兩種類型:確認已解決 和 隱含已解決。
已解決 (確認) 當交談結束主題被觸發,並且使用者確認互動成功時,工作階段將被視為已確認解決。
已解決 (默許) 隱含解決:當工作階段未經使用者確認,而是基於 Agent 的邏輯完成時,即視為隱含解決。 已解決的隱含狀態取決於您的代理是否使用傳統或生成式 AI 編排:
傳統協調流程:如果觸發交談結束主題,且使用者沒有提供確認就讓工作階段逾時,則將工作階段視為已隱含解決。
- 生成式 AI 協調流程:當工作階段逾時且沒有剩餘的有效計畫時,工作階段會視為已隱含解決。 待執行的方案是等待使用者輸入的方案。
已上呈 呈報:當觸發呈報主題或執行轉接專員 節點時,工作階段會結束並視為呈報 (目前分析工作階段會結束,無論交談是否轉接給真人專員)。 升級工作階段分為三種類型:系統意圖、系統非意圖及使用者請求。
系統意圖 由製作者設定的自動化商務規則,會使工作階段自動升級。 升級是對話中預期的結果,不需要調查或改變。
範例:用戶想將超過 25,000 美元轉帳給第三方。 這個金額超過商務規則的門檻,工作階段會自動升級。
系統非預期 當一個工作階段超過製作者設定的一個或多個閾值時,會自動發生升級。 通常,這個結果表示使用者在對話中卡住,需要協助。
範例:某個工作階段在三次執行特定任務失敗後被升級。
使用者要求 工作階段被升級是因為交談中有明確的使用者要求。
範例:使用者輸入 Transfer me to an agent。
已放棄 當互動式工作階段在 30 分鐘後逾時且未達到解決或呈報狀態時,工作階段會結束並視為已放棄。

您也可以使用工具程式代碼編輯器,使用 conversationOutcome 參數來設定工具的結果。 例如,conversationOutcome: ResolvedConfirmed 表示確認成功,或 conversationOutcome: ResolvedImplied 表示隱含成功。

回應

反應區塊顯示用戶從客服人員回應中收集的回饋。 圖表會統計使用者在每個從 Agent 收到的回應中選取「讚許」(正面) 或「反對」(負面) 按鈕的次數。

Note

  • 發佈至 Microsoft Copilot 頻道的代理程式需在 Microsoft 365 系統管理中心 獲得管理員同意,才能分享使用者回饋,包括反應與評論。 您可以在 監測 頁面查看這些回饋。 在 Microsoft 365 系統管理中心 的代理設定中了解更多。
  • 來自 Microsoft Copilot 頻道的反應不會被彙整或計入主題與知識來源使用區塊的反應欄位。
  • 要檢視評論,您必須擁有Bot Transcript Viewer安全角色。

回應功能在除 Microsoft Copilot 頻道外的所有頻道中,預設為開啟。 如果需要,您可以關閉此功能。 您也可以新增或編輯使用者關於其意見反應使用方式的免責聲明:

  1. 打開 Agent,進入 設定,找到 使用者回饋 區塊。

  2. 將「收集用戶對客服訊息的反應」開啟或關閉。

  3. 新增或編輯免責聲明,讓使用者知道其意見反應的使用方式。 您也可以提供隱私權資訊和秘訣。

擁有機器人逐字稿檢視權限的使用者,可以 深入查看個別反應的客服人員回應 ,並依 用戶留言進行篩選。

選擇「查看反應」圖塊中的「查看細節」以開啟反應側面板。 面板顯示隨時間變化的正面和負面反應 (讚許和反對) 趨勢。

客戶滿意度

客戶滿意度區塊顯示基於用戶調查結果的用戶滿意度資訊:

  • 滿意度分數:根據用戶回應會話結束時詢問問卷的會話平均客戶滿意度(CSAT)分數計算出的 5 分滿分。

    Note

    1 和 2 的分數對應到不滿意,分數 3 視為普通,分數 4 和 5 對應到滿意。

  • 依工作階段區分的滿意度:堆疊橫條圖,視覺化呈現問卷中各分數類別的相對權重,分別為 Dissatisfied、Neutral 和 Satisfied。 將滑鼠移到圖表的每個區段上,即可查看樣本大小及各分數類別權重的數值。 對於擁有機器人逐字稿檢視權限的使用者,你可以向下延伸到根據所選條段部分篩選的 客戶會話清單 。

選擇「 查看詳情 」以查看所選期間內的滿意度分數趨勢。

Sentiment(預覽)

[本章節是預先發佈文件,可能會有變更。]

情感分析利用 AI 分析從多個會話中抽樣的用戶訊息,評估整體對客服的用戶情緒。 數值代表負面用戶情緒的會話百分比。

Important

本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。

預覽功能不供生產時使用,而且可能功能受限。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。

如果你正在打造一個準備好上線的代理程式,請參考 Microsoft Copilot Studio 概述。

選擇「 查看詳情 」以查看各情緒類別(分別為 Positive、 Neutral、 Negative和 )的相對權重資料。

你可以在 設定中為你的經紀人開啟或關閉情感分析。 當情感分析關閉時,使用者情緒不會在會話中被分析。

  1. 到 設定 裡選擇 進階。

  2. 開啟或關閉 情緒分析 。

    進階設定中情感分析切換的截圖。

Agents

「Agent」清單會顯示主要 Agent 的連線 Agent 和子 Agent 的整體工作量、效能和狀態計量。 清單中的類型欄位會標示所列 Agent 與主 Agent 的關聯類型。 若代理為子代理,其類型為 Child。 連線代理有一個列出的類型,反映其創建地點(例如Copilot Studio、Azure AI Foundry)。 列出的每個代理的通話指標描述了從主代理到連接代理或子代理的通話量。 成功率反映成功完成的通話比例 (佔總通話數的百分比)。 狀態顯示每個連接 Agent 與子 Agent 的個別管理狀態。

預設情況下,代理程式名單會顯示你主要代理程式的前五個已連線代理程式和子代理程式,依問題總數由高到低排序。 若 Agent 數量超過五個,請點選查看全部以顯示所有 Agent。

Note

查看全部按鈕僅在您的主代理擁有超過五個連接或子代理時顯示。

使用

使用區塊幫助你了解用戶如何與你的客服人員互動,以及在哪些地方可以提升回答的可靠性。 用法分散在多個小節中:

  • 主題: 主題 通過將用戶問題聚類到 AI 建議的類別中來幫助您獲得分析見解。
  • 生成的回答率與品質:找出您的代理程式何時在回答問題上遇到困難,並利用知識來源提升回答率與品質。
  • 工具使用:了解工具使用的頻率與成功率,有助於你判斷這些工具對使用者是否有用且成功。
  • 知識來源的使用:了解個別知識來源被使用頻率及錯誤的頻率,有助於提升客服回答的品質與覆蓋範圍。

生成的回答率與品質

透過生成式答案,您的客服人員可以利用人工智慧,利用知識來源和您提供的指示,生成用戶問題的答案。 不過,您的代理程式可能無法回應所有用戶查詢。 產生的回答率和品質部分會追蹤、組織和分析未回答的查詢和答案品質,為您提供改善客服專員應答效能的指導。

生成回答率與品質區塊的截圖。

回答率顯示所選時段內已回答和未回答的問題數量,以及隨時間變化的百分比。

回應質量 會測量使用 AI 的答案品質。 Copilot Studio 分析已回答問題的樣本,以評估其完整性、相關性及有據可依性。 如果答案符合既定標準,Copilot Studio 會將其標示為 良好 品質。 不符合標準的答案會被標示為 「品質差」。 對於差的答案,Copilot Studio 會提供品質評等的原因,並顯示分配到每個類別的答案百分比。

將滑鼠懸停在圖表中的任一長條上,即可查看某特定原因對優良或不良品質標籤的相對權重。 提示同時會顯示抽樣的答案數量,以得出計算出的百分比值。

在圖表下方的圖例中,將游標移至任一品質標籤原因上,即可在圖表中突出顯示該原因。

從條狀圖中選取一段,開啟一頁依該回應品質篩選的 用戶問題 頁面。 選擇 「查看問題 」可查看設定時間內 所有問題的未篩選清單 。

工具使用

「工具使用」區段會顯示圖表和計量,追蹤工具在一段時間內的啟動頻率,以及 Agent 成功使用這些工具的頻率。 它還顯示了您的 Agent 使用每種工具的頻率,以及成功使用呼叫工具的百分比趨勢指標。

圖表顯示在「Monitor」頁面頂端定義的日期期間內使用的前五大工具。

在圖表下方的圖例中,將滑鼠移到任何工具上,以在圖表中醒目顯示該工具。

工具使用圖表和指標的螢幕擷取畫面。

點選圖表中的查看詳細資訊可開啟側邊面板,顯示指定期間內所有使用工具的清單及趨勢指標。 在工具使用面板中,可顯示各工具所處理問題比例的計算結果。 若您的 Agent 有子 Agent,可選擇同時顯示主 Agent 與子 Agent (全部)、僅顯示主 Agent,或僅顯示子 Agent 的計算結果。

知識來源使用情況

知識來源使用部分提供洞察,了解代理如何使用其知識來源以及這些來源回傳錯誤的頻率。 請參閱知識來源的使用以了解更多資訊。