用自訂指標監控你的客服人員(預覽)

Note

本文說明由標準執行架構提供的 Agent 或 Agent 流程中所使用的功能。

[本文是發行前文件,可能會有所變動。]

使用自訂計量來衡量適用於您 Agent 及商務案例的特定結果。 以自然語言描述您要衡量的內容,Copilot Studio 會產生計量設定,並根據 Agent 的交談工作階段進行評估。

您可以為 Agent 建立最多三個自訂計量。 自訂計量支援使用傳統或生成式協調流程的交談 Agent。 它們不支援自主 Agent 或 Agent 流程。

Important

本文包含 Microsoft Copilot Studio 預覽版文件,內容可能有所變更。

預覽功能不供生產時使用,而且可能功能受限。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應。

如果你正在打造一個準備好上線的代理程式,請參考 Microsoft Copilot Studio 概述。

Prerequisites

在建立自訂指標之前:

  • 設定並發佈您的 Agent。
  • 確保你的客服人員在 Monitor 中有可用的對話工作階段。 當代理的會話資料不足時,可能無法取得有意義的預覽。
  • 定義可透過工作階段中所交換訊息評估的計量。 自訂指標不會驗證對話外發生的結果,例如後來在外部系統中完成的交易。

你需要 Bot Transcript Viewer 這個安全性角色,才能開啟預覽和計算結果中使用的工作階段訊息。 如需詳細資訊,請參閱 共用 Agent 的分析。

自訂指標類型

Copilot Studio 會根據你的描述決定指標類型。 每個自訂指標對每個適用會話產生一個結果。

計量類型 Description
二元分類 將工作階段組成明確定義結果和預設其他類別的群組。
多類別分類 將工作階段組成產生的類別群組。 一個指標最多可包含 10 個類別。 不符合系統產生的類別的會話會歸類為 其他類別。
數字分數 為每個適用的工作階段指派數值分數並計算平均分數。 空結果表示該會話沒有該指標的資料;它不代表分數為零。

從一個例子開始

Copilot Studio 提供了範例,可以作為起點。 當你選擇一個範例時,請將其描述變更為與你的代理程式對話中的訊號和結果相符。

Example 計量類型 測量
需要後續追蹤 二元分類 判斷對話是否會產生後續行動,如回電、約見、調查或升級。
商業成果類型 多類別分類 將最終有意義的結果分為「完成行動」、「需追蹤」、「提供資訊」或「無業務結果」。
潛在客戶品質分數 數字分數 根據客戶的需求、符合程度、緊迫性及意願,評分為 1 至 3 分。 沒有相關業務或商業情境的會話則不會回傳任何資料。

建立自訂指標

  1. 在您的代理程式監控頁面上,選取位於摘要卡片上方的自訂指標。

    監控頁面自訂指標按鈕的截圖。

  2. 在 建立自訂指標頁面中,請先從提供的範例開始,或從零開始建立指標。

    如需詳細資訊,請參閱從範例開始。

  3. 描述您希望在 Agent 交談中衡量的內容。

    定義一個具體且可觀察的結果。 例如,描述哪些訊號顯示對話是否需要後續跟進,而非輸入像「衡量成功」這樣的廣泛目標。

  4. 選取 下一步。

    Copilot Studio 會利用你的描述、代理程式資訊和範例工作階段來:

    • 驗證該指標是否能從現有會話資料中計算出來。
    • 產生計量標題。
    • 判斷該指標是二元分類、多類別分類,還是數值分數。
    • 產生類別以及其分類計量的準則。
    • 產生一個數值指標的評分標準。
    • 產生一個唯讀計算提示。
    • 選擇相容的視覺化。

    如果該指標不被支援,Copilot Studio 會解釋原因並提供完善其描述的指引。 您的原始描述仍可編輯。

  5. 預覽並檢視產生的指標。 在 預覽自訂指標中了解更多。

  6. 選擇 儲存指標。

    自訂計量會顯示在監視頁面的自訂計量區段中。 Copilot Studio 會計算前七天適用工作階段的計量。 初步計算完成後,Copilot Studio 會每日計算新工作階段的指標。

預覽自訂指標

預覽會使用 Agent 工作階段的樣本,協助您在儲存前評估計量。 樣本可包含多天的工作階段,讓您能回顧彙整結果與趨勢。 預覽結果並不代表所有會話的計算結果。

  1. 在 建立自訂指標時,選擇 「下一步」來驗證並產生指標。

  2. 在 預覽中檢視彙整結果及產生的視覺化。

  3. 選取結果以檢閱代表工作階段、指派至每個工作階段的結果,以及 AI 對該結果產生的推理。

  4. 選擇一個工作階段以查看其訊息。

    Note

    你需要 Bot Transcript Viewer 安全性角色,才能審查工作階段訊息。

  5. 選擇 Prompt 以檢視 Copilot Studio 如何解讀你的指標描述並計算結果。

    產生的計算提示為唯讀。

  6. 如果結果與你的預期不符,請回到指標描述,細化後再預覽一次指標。

  7. 預覽產生預期結果時,選取儲存計量。

Important

AI 產生的指標配置、分類、分數與推理可能不準確。 儲存計量前,先檢閱預覽結果和推理。 將自訂計量視為交談資料的分析,而不視為交談之外所發生結果的權威性記錄。

了解自訂度量計算

預覽與儲存的指標使用會話資料的方式不同:

計算方法 使用的工作階段資料
預覽版 用於驗證與測試指標的歷史會話範例。
初始儲存的計算 前七天中所有適用的工作階段。
每日計算 可供每日計算的所有適用的新工作階段。

自訂指標會評估工作階段中的交談訊息,包括在 Adaptive Card 訊息中傳送的內容。 它們不會評估工具調用細節或外部系統中儲存的資訊。

視覺化依指標類型而異。 分類指標顯示會話在不同類別間的分布。 數值指標顯示適用工作階段的平均分數。 計算結果同時顯示使用的會話數量及指標趨勢。

編輯自訂指標

Important

儲存變更會重新建立自訂指標,並刪除其先前的計算歷史。 Copilot Studio 接著計算前七天適用工作階段的計量。

  1. 在你的客服人員 監控 頁面,選擇你想編輯的自訂指標上的三個點(...),然後選擇 編輯。

  2. 更新度量描述。

  3. 選擇 「下一步 」以重新生成並預覽指標。

  4. 檢視產生的設定、結果、推理與計算提示。

  5. 選擇 儲存指標。

編輯在先前體驗中建立的指標

當你編輯在先前自訂度量體驗中建立的指標時,Copilot Studio 會將原始描述、類別名稱和類別條件整合到指標描述欄位中。 檢視合併說明,確保其保留指標的意圖。

儲存已編輯的指標後,會使用新的自訂指標體驗重新建立該指標,並刪除之前的計算歷史。

刪除自訂指標

  1. 在你的客服人員 監控 頁面,選擇你想刪除的自訂指標上的三個點(...),然後選擇 刪除。

  2. 在確認對話方塊中,選取 [刪除]。

Limitations

  • 你可以為一個代理程式建立最多三個自訂指標。
  • 自訂指標支援使用經典或生成式協調的對話代理。 不支援自主 Agent 和 Agent 流程。
  • 自訂指標會為每個適用會話產生一個結果。
  • 數值指標支持以平均彙總計分。 他們不會提取並彙總交易金額或其他任意的數值。
  • 自訂指標則使用對話訊息,包括 Adaptive Card 訊息內容。 工具調用細節和外部系統資料則不包含在內。
  • 預覽會使用樣本工作階段。 儲存計算會使用計算期間內所有適用的會話。
  • 當指標描述模糊或可用會話中未包含計算所需資訊時,可能無法產生有意義的結果。
  • 個別的分類、分數和推理可能不準確。 當預覽結果與預期不符時,再整體檢視結果並細化指標描述。
  • 如果您對代理程式的指示或設定做了實質性變更,請檢視其自訂指標,確保這些自訂指標仍能衡量預期結果。