本文回答了有關 Copilot Studio Monitor 索引標籤中分析功能所使用的 AI 功能的常見問題。
生成式 AI 如何應用於分析？
Copilot Studio 利用 AI 評估生成式答案的品質，並透過群組識別使用者查詢的模式。 這些叢集提供關於客服人員效能的洞見。
生成式回答使用 你選擇的知識來源來產生回應。 此功能也會收集您提供的任何意見反應。 分析利用大型語言模型（LLM）將用戶與客服之間的聊天訊息分類為反映生成性回應品質的層級。 這些分類會被彙總，以提供代理人績效的總結。
叢集利用大型語言模型 (LLM) 將使用者訊息依據共用主題分類到群組，並為每個群組提供描述性名稱。 Copilot Studio 會使用這些叢集的名稱來提供不同類型的深入解析，讓您可用來改善代理程式。
生成式答案的回應品質
回應品質的預期用途是什麼？
利用回應品質分析來了解客服人員的績效並找出改進之處。 目前，你可以利用分析來判斷客服人員生成式回答的品質是否符合你的期望。
除了整體品質外，回應品質分析還能找出客服表現不佳或未能達成預期目標的領域。 找出生成式答案表現不佳的地方，並採取措施提升其品質。
在發現表現不佳時，請遵循有助於提升品質的最佳實務。 例如，在辨識出效能不佳的知識來源後，你可以編輯該知識來源，或將它拆分成多個更聚焦的來源以提升品質。
使用哪些數據來建立回應品質的分析？
回應品質分析是根據與 生成式答案 的互動樣本進行。 它需要使用者查詢、代理程序回應，以及產生模型用於產生式回應的相關知識來源。 回應品質分析利用這些資訊來評估生成答案的品質是否良好，若不佳，則判斷為何品質不佳。 例如，回應品質可以識別不完整、不相關或沒有充分依據的回應。
回應分析的品質有哪些限制？使用者該如何將這些限制的影響降到最低？
回應品質分析並不使用所有生成式回應。 相反地，分析會測量使用者代理程式會話的範例。 成功生成答案數量少於最低數量的代理人，無法獲得高品質回應分析摘要。
有時候，分析無法準確地評估個別回應。 綜合來看，大多數情況下應該是準確的。
回應品質分析無法細分導致低品質表現的具體查詢。 它們也不會提供發生低質量回應時所使用的常見知識來源或主題明細。
分析不會針對使用 產生知識的答案進行計算。
答案完整性是評估回應品質的指標之一。 此指標衡量回應對檢索文件內容的完整性。
如果系統沒有取得相關文件並附有該問題的額外資訊，就不會評估該文件的完整性指標。
在 Copilot Studio 中，為了確保負責任的 AI 的回應分析品質，有哪些保障措施？
客服人員的使用者看不到分析結果。 結果僅供代理程式建立者和管理員查看。
製作者和系統管理員只能使用回應分析的品質來查看良好質量回應的百分比，以及效能不佳的任何預先定義原因。 結果會被彙整並以百分比及預先定義的類別呈現。
我們在開發過程中徹底測試了回應品質的分析，以確保良好的效能。 然而，在極少數情況下，反應評估的品質可能不準確。
對話階段的情感分析
情感分析的預期用途是什麼？
利用情感分析，根據 AI 對用戶訊息的分析，了解用戶在對話過程中的滿意度。 你可以了解整個療程的情緒（正面、負面或中立），調查原因，並採取措施加以解決。
情緒分析會使用哪些資料？
情感分析使用傳送給 Agent 的使用者訊息做為交談工作階段的樣本集。
情感分析利用這些資訊評估使用者在會話期間的滿意度是正面、負面還是中性。 例如，使用者可以用詞語和語氣表達挫折或不滿，這取決於與客服的互動。 在這種情況下，該場次被歸類為負面情緒。
情感分析的限制是什麼？使用者又該如何彌補這些限制？
情緒分析並非用所有對話會話來計算。 相反地，分析會測量使用者代理程式會話的範例。 每日成功生成回答數低於最低數量的代理人無法獲得情感分數。
情感分析目前依賴生成式答案，且每日至少有若干成功答案以計算代理人的情感分數。
要計算會話的情緒，必須至少有兩則使用者訊息。 此外，由於目前的技術限制，對於總共超過 26 則訊息（包含使用者與代理訊息）的會話，情感分析不會進行
情感分析無法細分導致情緒分數的具體用戶訊息。
在 Copilot Studio 中，情感分析採取哪些負責任 AI 保護措施？
客服人員的使用者看不到分析結果。 結果僅供代理程式建立者和管理員查看。
你只能用情緒分析來查看所有場次的情緒分布。
我們在開發過程中徹底測試了情感分析，以確保良好的效能。 然而，在極少數情況下，情緒評估可能不準確。
使用者問題主題
主題的預期用途是什麼？
按主題分群和主題層級分析可協助你快速了解大量使用者都在詢問哪些問題。 此功能分析大量使用者查詢，並呈現代表使用者主要關注主題的高階主題（「主題」）。 這種分析幫助你從檢視個別對話，轉向識別更廣泛的模式、新興需求與關注領域。
透過提供結構化、數據驅動的使用者活動概覽，主題層級分析能幫助你：
找出使用者最常接觸的主題。
找出涵蓋缺口或不明確的體驗。
監控使用者興趣隨時間的演變。
根據真實用戶需求優先排序改進。
主題分析在高層次上是如何運作的？
此功能作為一個多階段流程，持續將使用者查詢組織成有意義的群組。 從高層次來看，此過程包含兩個關鍵階段：
主題候選項目生成
系統分析近期的用戶查詢，並找出代表不同高階主題的候選主題。 系統會偵測查詢中的模式、相似性及反覆出現的主題，以推導出這些候選主題。
查詢主題歸屬
系統產生候選主題後，會將個別查詢關聯到最相關的主題。 每個主題代表一系列相關使用者問題，並隨著系統處理新查詢而演變。 系統會透過語意相似度和使用者回饋等訊號，隨時間精煉這些主題。 這種精煉過程讓表示能隨著使用者行為改變而調整。
用什麼資料來建立主題？
使用者會從查詢產生主題，進而產生生成性的答案。 此流程聚焦於近期的活動窗口，確保主題反映當前用戶興趣與不斷演變的趨勢。 隨著新資料的出現，系統會更新主題以保持相關性。
由於主題依賴使用者查詢的模式，此功能依賴於有相當數量的活動可供分析。 在資料有限或查詢高度分散的情況下，系統可能無法產生主題或提供有限的洞察。
主題分析有哪些限制？我該如何減輕這些限制？
主題分析是一種資料驅動的分群系統，其成效取決於使用者查詢的性質與數量。 一些潛在的限制包括：
資料不足或高度多元可能導致主題過於寬泛或狹隘。
密切相關的主題有時會被拆分成不同的主題。
無關的查詢有時會被歸類在一起。
使用者語言隨時間的變化可能影響主題的一致性。
要從主題中獲得最大價值：
定期檢視生成的主題。
提供回饋（例如：讚或不讚）以提升品質。
將主題解讀為方向性洞見，而非精確的分類。
有哪些負責任的 AI 保護措施？
主題分群與分析的設計是以負責任的人工智慧原則為考量。
只有授權的創作者和管理員能看到主題。
只有被授權查看用戶查詢的人，才能看到其主題分類。
主題反映用戶查詢的內容，因此能為創作者和管理員提供誠實的摘要。
這些保障措施有助於確保 Themes 在維持安全且受控的體驗的同時，提供有用的見解。
自訂指標分析
自訂指標的預期用途是什麼？
利用客製化指標分析來了解你的對話代理對業務成果的影響程度。 這些指標補充了儲蓄分析。 自訂指標的例子包括解決率、客戶意圖分類及其他領域特定結果。
自訂指標可以顯示客服人員未達成預期目標的地方。 定義要衡量什麼，將指標與真實會話資料測試，並根據結果精煉定義。
計算自訂指標會使用哪些資料？
利用過去客服人員會談的樣本計算自訂指標。 計算利用會話中交換的對話訊息。
AI 模型會根據你的指標定義來分類會話資料。 代理人會將樣本中的結果彙整，以顯示所選期間的整體指標表現。
自訂指標的限制是什麼？使用者該如何減少限制的影響？
自訂指標不會使用所有代理會話。 相反，他們會測量所選時間段的工作階段樣本。 因為結果是基於樣本，請將其視為方向指標，而非精確數字。
在解讀指標時，請注意指標計算是以訊息記錄為基礎。 避免對主要發生在訊息之外的行為（如主題和工具）下結論。
AI 模型可能會誤判會話。 總體結果通常準確。 不符合特定類別的會話會被歸入備用（其他）類別。 如果測試結果與預期結果不符，你可以更新指標描述和分類定義。
如果你在定義指標後大幅更改代理人的指令或設定，該指標可能不再準確反映代理人更新的行為。 在對代理人做出實質性變更後，先檢視他們的自訂指標。
在 Copilot Studio 中，情感分析採取哪些負責任 AI 自訂計量？
只有代理製作者和管理員能存取自訂指標結果。 代理的使用者無法取得分析結果。
你在儲存前會審查並核准所有自訂指標。 在度量定義過程中，你會以樣本會話資料來測試指標，並檢視個別結果與模型推理。 如果結果未達預期，你可以更新或捨棄該指標。 指標不會在未經你明確確認的情況下應用。
用來分類會話的 AI 提示會在使用者介面中顯示，讓你了解模型如何解讀你的指標定義。 你可以隨時編輯或移除自訂指標。
在極少數情況下，個別會話分類可能不準確。 結果應以整體方式解讀，而非個別會議層級。