Microsoft 365 Copilot 評估 CLI 的評估工具參考

Microsoft 365 Copilot 評估 CLI 包含評分回應和檢查執行階段行為的評估工具。 每個評估者衡量品質的不同方面,從語義相關性到工具呼叫執行。 本文說明其評分行為、設定選項,以及在測試資料集中的使用。

如需如何在資料集中設定評估程式的相關資訊,請參閱 設定評估程式。

您可以在 GitHub 上以 JSON 結構描述格式找到評估資料集結構描述。

注意

工具呼叫評估工具需要 CLI v2 (preview) 和 結構描述 v2。 它們不適用於 CLI v1 (latest) 。 本文中的其他範例會使用結構描述 v1。

評估工具摘要

下表摘要列出所有可用的評估工具。

評估工具 Type (類型) Scale 預設信用額度 預設為啟用 必要欄位
相關性 LLM 型 1-5 3 是 prompt
一致性 LLM 型 1-5 3 是 prompt
接地氣 LLM 型 1-5 3 否 prompt
相似性 LLM 型 1-5 3 否 prompt, expected_response
RetrievalQuery 非法學碩士 通過/失敗 不適用 否 prompt、評估工具組態
RetrievalResult 非法學碩士 比例 1.0 否 prompt、評估工具組態
ToolCallSelection (v2 預覽) 非法學碩士 通過/失敗/錯誤 1.0,已修正 否 prompt, , calls[].tool選取函數遙測
ToolCallExecution (v2 預覽) 非法學碩士 通過/失敗/錯誤 1.0,已修正 否 prompt, , calls[].tool, 使用 HTTP 結果的執行遙測
引文 計數型 >= 0 1 否 prompt
PartialMatch 字串比對 0.0-1.0 0.5 否 prompt, expected_response
ExactMatch 字串比對 布林值 不適用 否 prompt, expected_response

LLM 型評估工具

以 LLM 為基礎的評估工具會在您的 Microsoft Foundry 專案中使用Azure OpenAI 模型, (透過環境變數進行配置,) 來判斷代理程式的回應品質。 這些評估工具由 Azure AI 評估 SDK 提供。 李克特量表的分數範圍為 1 到 5,其中值越高表示品質越好。 根據預設,需要 3 分或以上才能通過。 您可以在測試設定中變更所需的分數。

相關性

相關性評估器會評估代理程式的回應對使用者查詢的處理程度。 它會評估回應是否直接且完整地回答了所詢問的問題。

  • 預設為啟用:是
  • 比例: 1-5 (李克特)
  • 預設閾值: 3
  • 必要欄位:prompt
  • 需要基本實況: 否

相關性評估工具 expected_response 不需要 - 它只會評估查詢與回應之間的關聯。

相關性範例資料集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {}
  },
  "items": [
    {
      "prompt": "What are the key features of our enterprise plan?",
      "expected_response": "The enterprise plan includes advanced security, unlimited storage, 24/7 support, and custom integrations."
    }
  ]
}

一致性

連貫性評估器測量智能體回應中想法的邏輯和有序呈現。 它評估回應在句子之間是否有清晰的聯繫、適當的過渡以及易於遵循的邏輯想法順序。

  • 預設為啟用:是
  • 比例: 1-5 (李克特)
  • 預設閾值: 3
  • 必要欄位:prompt
  • 需要基本實況: 否

一致性範例資料集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Coherence": {}
  },
  "items": [
    {
      "prompt": "Explain the process for submitting an expense report.",
      "expected_response": "To submit an expense report, first collect your receipts. Then open the expense portal, create a new report, attach your receipts, and submit for manager approval."
    }
  ]
}

接地氣

「基礎性」評估器會檢查代理程式的回應是否與提供的基礎內容一致並得到其支援。 它透過驗證回應不包含超出檢索文件支援範圍的宣告或資訊來專注於精確度。

  • 預設為啟用:否
  • 比例: 1-5 (李克特)
  • 預設閾值: 3
  • 必要欄位:prompt, expected_response
  • 需要基本實況: 否

使用 Groundedness 評估工具來偵測客服專員回應中的幻覺或不受支持的主張。

基礎性範例資料集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Relevance": {},
    "Groundedness": {}
  },
  "items": [
    {
      "prompt": "What is our company's remote work policy?",
      "expected_response": "Employees can work remotely up to 3 days per week with manager approval."
    }
  ]
}

相似性

相似性評估工具會測量代理程式的回應與提供的 expected_response (基本事實) 之間的語意相似程度。 與 F1 或雙語評估 Understudy (BLEU) 等標記重疊指標不同,它側重於含義和更廣泛的上下文,而不是表面層面的單詞匹配。

  • 預設為啟用:否
  • 比例: 1-5 (李克特)
  • 預設閾值: 3
  • 必要欄位:prompt, expected_response
  • 需要基本實況: 是

您必須在資料集項目中設定 expected_response 相似性評估工具。

相似性範例資料集

{
  "schemaVersion": "1.6.0",
  "default_evaluators": {
    "Similarity": {}
  },
  "items": [
    {
      "prompt": "What is Microsoft Graph?",
      "expected_response": "Microsoft Graph is a unified API endpoint that provides access to data and intelligence in Microsoft 365 services."
    }
  ]
}

擷取評估工具

擷取評估工具會驗證 Microsoft 365 Copilot 代理程式的端對端擷取管線。 他們檢查代理如何將使用者查詢轉換為擷取操作,以及預期資源是否出現在結果中。 這些評估工具不使用 LLM 法官,他們對擷取執行資料執行確定性檢查。

RetrievalQuery

RetrievalQuery 評估工具會驗證 Copilot 是否已正確地將使用者意圖轉譯為擷取查詢。 它會 queryString 檢查標準化 retrieval_executions[] 值,並確認它們符合預期的模式。

  • 預設為啟用:否
  • 縮放比例: 通過/失敗
  • 預設閾值: 無
  • 必要欄位:prompt、評估者設定
  • 需要基本實況: 否

RetrievalQuery 設定選項

選項 Type (類型) 必要 描述
capability string 是 擷取功能可檢查執行範圍 (例如 "OneDriveAndSharePoint"、 "Email"、 "GraphConnectors") 。
selector 字串 是 不區分大小寫的子字串,用來在擷取執行中識別目標查詢。
includes 字串 是 必須全部出現在相符查詢中的子字串。
excludes 字串 是 不得出現在相符查詢中的子字串。

RetrievalQuery 範例資料集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find the Q4 sales report in SharePoint",
      "expected_response": "Here is the Q4 sales report.",
      "evaluators": {
        "RetrievalQuery": {
          "capability": "OneDriveAndSharePoint",
          "selector": "Q4 sales report",
          "includes": ["projections", "profit"],
          "excludes": ["FileType:OneNote"]
        }
      }
    }
  ]
}

RetrievalResult

RetrievalResult 評估工具會驗證預期資源是否實際出現在擷取執行傳回的文件、訊息和項目中。 它會檢查特定文字片段是否存在於可設定的排名閾值內的擷取點擊擷取中。

  • 預設為啟用:否
  • 縮放比例: 比例 (0.0-1.0)
  • 預設閾值: 1.0 (所有檢查都必須通過)
  • 必要欄位:prompt、評估者設定
  • 需要基本實況: 否

分數與找到的預期項目數成正比。 例如,如果找到 3 個預期項目中的 2 個,則分數為 0.67。 不過,通過需要所有檢查都成功 (閾值一律為 1.0) 。 您必須設定至少一個 expected_items 或 min_expected_count。

RetrievalResult 設定選項

選項 Type (類型) 必要 描述
expected_items array 條件 指定預期結果的物件陣列。 每個物件都可以包含 retrievalExtract_contains (一個文字片段,以比對擷取點擊擷取) 。 您必須設定至少一個 expected_items 或 min_expected_count。
expected_items[].retrievalExtract_contains 字串 否 必須出現在擷取點擊擷取中的文字片段。
min_expected_count 整數 條件 必須擷取的最小結果數目。 您必須設定至少一個 expected_items 或 min_expected_count。
max_rank 整數 否 比對預期項目時要考慮的最大排名。 預設為 10。

RetrievalResult 範例資料集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Find recent emails about the Contoso project",
      "expected_response": "Here are the recent emails about the Contoso project.",
      "evaluators": {
        "RetrievalResult": {
          "expected_items": [
            { "retrievalExtract_contains": "update" },
            { "retrievalExtract_contains": "budget" }
          ],
          "max_rank": 5,
          "min_expected_count": 2
        }
      }
    }
  ]
}

工具呼叫評估工具

工具呼叫評估程式會使用執行階段診斷 (開發人員資訊) 來檢查工具選擇和 HTTP 執行結果。 它們是確定性的,不使用 LLM 法官,也不需要 expected_response。

  • ToolCallSelection 檢查是否已選取預期的工具識別,忽略順序和重複項目。 您可以選擇性地拒絕其他選項。
  • ToolCallExecution 會針對每個預期的呼叫檢查狀態 200-299) 是否顯著成功執行 HTTP 執行 (。 重複身分識別以要求多次成功執行。

兩位評估者都未建立答案品質或業務正確性。 當您需要兩者時,將回應評估器與工具呼叫檢查一起使用。 如需設定、同意、範例和結果解譯,請參閱 工具呼叫評估工具。

字串和計數型評估工具

這些評估工具使用確定性字串比對或計數邏輯。 它們不需要 LLM,而是在本機執行。

引文

引 文 評估工具會計算代理程式回應中的引文參照數目,例如 [1]、 或 [2]超連結樣式的引文。 它會檢查代理是否正確地將其宣告歸因於來源。 將閾值設定為預期的引用次數。

  • 預設為啟用:否
  • 縮放比例:>= 0 (計數)
  • 預設閾值: 1
  • 必要欄位:prompt
  • 需要基本實況: 否

分數等於引用次數,默認至少需要 1 次引用才能通過。

引文設定選項

選項 Type (類型) 必要 描述
citation_format string 否 指定預期的引文格式,例如 "mixed"。

引文範例資料集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is our return policy?",
      "expected_response": "Our return policy allows returns within 30 days [1].",
      "evaluators": {
        "Citations": {
          "threshold": 2,
          "citation_format": "mixed"
        }
      }
    }
  ]
}

PartialMatch

PartialMatch 評估器測量代理的回應與expected_response使用的令牌層級相似性之間的文字重疊程度 (類似於 F1 分數方法) 。 當您預期回應包含預期答案中的關鍵片語或資訊,但不需要逐字比對時,此評估工具就很有用。

  • 預設為啟用:否
  • 縮放: 0.0-1.0
  • 預設閾值: 0.5
  • 必要欄位:prompt, expected_response
  • 需要基本實況: 是

分數範圍從 0.0 (無重疊) 到 1.0 (完全匹配) 。

PartialMatch 範例資料集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "Who is the CEO of Contoso?",
      "expected_response": "The CEO of Contoso is Jane Smith.",
      "evaluators": {
        "PartialMatch": {}
      }
    }
  ]
}

ExactMatch

ExactMatch 評估工具會在代理的回應與已設定expected_response的 . 它會傳回布林值通過或失敗 - 回應完全符合或不匹配。 此評估工具適用於具有確定性或公式化預期答案的提示。

  • 預設為啟用:否
  • 縮放比例: 布林值 (通過或失敗)
  • 預設閾值: 無
  • 必要欄位:prompt, expected_response
  • 需要基本實況: 是

ExactMatch 設定選項

選項 Type (類型) 必要 描述
case_sensitive 布林值 否 控制比較是否區分大小寫。 預設為 true。

ExactMatch 範例資料集

{
  "schemaVersion": "1.6.0",
  "items": [
    {
      "prompt": "What is 2 + 2?",
      "expected_response": "4",
      "evaluators": {
        "ExactMatch": { "case_sensitive": false }
      }
    }
  ]
}