Microsoft 365 Copilot 評估 CLI 概觀

Microsoft 365 Copilot評估 CLI (@microsoft/m365-copilot-eval) (先前稱為代理評估 CLI),可協助您透過結構化評估和結果報告來測試、衡量和改進代理的品質。 CLI v2 預覽也支援評估使用外掛程式的 Microsoft 365 Copilot 回應。

重要

對於已部署的宣告式代理程式,請從引導式工作流程的 Work IQ 開發工具 開始。 Work IQ 開發工具會管理相容的 Microsoft 365 Copilot 評估 CLI 版本,並透過 wiqd agent eval公開它。 當您需要較低層級的命令控制或維護現有 runevals 的工作流程時,請使用本節中的獨立 CLI 指引。

選擇 CLI 版本

npm 套件名稱和 runevals 命令保持不變。

版本 npm 標籤 評估範圍
v1 latest 已部署的代理程式。 此快速入門涵蓋此版本。
v2 預覽 preview 已部署的代理程式和使用外掛程式的 Microsoft 365 Copilot 回應。 具有結構描述 v2 的工具 呼叫評估工具 的必要項目。

在 v2 預覽中,在沒有設定代理程式識別碼的情況下執行會評估 Microsoft 365 Copilot Chat,而不是選取代理程式。 針對外掛程式執行,請先在 Copilot 中佈建和啟用外掛程式,然後從殼層和載入的環境檔案中移除 M365_AGENT_ID 舊版 AGENT_ID 。 此設定只會評估 Copilot 體驗,而不是孤立的外掛程式端點。

如需預覽安裝和工具呼叫資料集範例,請參閱 工具呼叫評估工具。

您可以採取的動作

評估工具提供下列功能:

  • 執行批次和互動式評估。
  • 使用 Microsoft Foundry 雲端評估和內建計量自動對回應評分。
  • 使用 JSON 資料集、內嵌提示或互動式輸入進行測試。
  • 以 HTML、JSON 或 CSV 格式產生報告。

評估計量

回應評估工具會對答案品質進行評分。 工具呼叫評估工具會檢查執行階段診斷,而不是回應文字。

評估工具 Type (類型) Scale 預設信用額度 預設
相關性 LLM 型 1-5 3 是
一致性 LLM 型 1-5 3 是
接地氣 LLM 型 1-5 3 否
相似性 LLM 型 1-5 3 否
RetrievalQuery 非法學碩士 通過/失敗 不適用 否
RetrievalResult 非法學碩士 比例 1.0 否
ToolCallSelection (v2 預覽) 非法學碩士 通過/失敗/錯誤 1.0,已修正 否
ToolCallExecution (v2 預覽) 非法學碩士 通過/失敗/錯誤 1.0,已修正 否
引文 計數型 >= 0 1 否
ExactMatch 字串比對 布林值 不適用 否
PartialMatch 字串比對 0.0-1.0 0.5 否

如需每個評估器的詳細資訊,包括組態選項和範例資料集,請參閱 評估器參考。

評估工作流程的運作方式

評估遵循一致的工作流程:

  1. 安裝並設定 CLI。
  2. 提供環境設定和認證。
  3. 建立測試提示的資料集。
  4. 針對您的代理程式執行評估。
  5. 檢閱結果並反覆執行。

必要環境變數

評估工具會使用環境變數來驗證並連線至您的租用戶和 Microsoft Foundry 專案。 下列設定描述 v1 代理程式評估工作流程。 只使用確定性評估工具的執行,包括 v2 預覽版中的工具呼叫評估工具,不需要 Microsoft Foundry 評分設定。

變數 描述 預設
TENANT_ID 部署代理程式所在的 Microsoft Entra 租用戶識別碼。 無
AZURE_AI_PROJECT_ENDPOINT 用於雲端評估的 Microsoft Foundry 專案端點。 Microsoft Foundry LLM 法官的必要項目,而不是確定性評估工具的必要項目。 無
AZURE_AI_MODEL_NAME Microsoft Foundry 專案中的模型部署名稱。 gpt-5-mini
M365_TITLE_ID (選用) 標題識別碼,用來自動偵測 Microsoft 365 代理程式識別碼以進行評估。 無
M365_AGENT_ID (選用) 用於評估的明確代理程式識別碼。 自動偵測來源 M365_TITLE_ID

這些值會啟用驗證,並允許工具使用 Microsoft Foundry 執行 LLM 型評估評分。 如需如何取得這些值的詳細資訊,請參閱 取得環境變數的值。