疑難排解 Microsoft 365 Copilot 評估 CLI

本文提供 Microsoft 365 Copilot 評估 CLI 的疑難排解資訊。 下列各節依問題影響的工作流程階段對問題進行分組:設定、驗證、執行階段和環境。

設定問題

安裝期間或首次執行 CLI 時遇到的問題。

安裝失敗

如果 npm install -g @microsoft/m365-copilot-eval 失敗:

  • 請確認您執行的是 Node.js 24.12.0 或更新版本: node --version。
  • 檢查您是否具有安裝通用 npm 套件的權限。 在 Unix/macOS 上,您可能需要 sudo 或 nvm 管理的節點安裝。
  • 如果您在公司 Proxy 之後,請參閱 網路或 Proxy 問題。

runevals 找不到命令

如果 runevals 安裝後無法辨識命令:

# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval

# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval

如果列出套件但仍找不到命令,請檢查您的 npm 全域 bin 目錄是否位於 PATH:

npm bin -g

如果缺少輸出目錄,請將其新增到您的 PATH 目錄。

預先快取 Python 環境

此工具會在初次執行時下載 Python 執行階段和相依性。 若要在不執行評估的情況下提前設定環境:

runevals --init-only

此功能適用於:

  • 預熱 CI/CD 管線中的快取。
  • 在不執行評估的情況下測試設定。
  • 將安裝問題與評估問題隔離。

針對設定本身的疑難排解,請結合偵錯記錄:

runevals --init-only --log-level debug

驗證問題

租用戶、代理程式或 Microsoft Foundry 存取問題。

驗證錯誤

如果驗證失敗:

  • Verify TENANT_ID 符合部署代理程式所在的租用戶。
  • 確認您正在 Windows 上執行。 即將推出其他作業系統的支援。
  • 請確定您已正確登入 Microsoft 365 帳戶。
  • 如果您使用多個租用戶,請先登出其他帳戶,然後再執行 runevals。

租用戶不符

如果工具連線但未傳回任何代理程式,則您的 TENANT_ID 代理程式可能不符合部署代理程式所在的租用戶。 執行以下方法驗證租用戶識別碼:

az account show --query tenantId

您也可以依照 必要的環境變數中的指示進行。

鑄造廠評分錯誤

如果評估評分失敗並出現 401 或 403 錯誤:

  • 使用 Azure CLI () az login 託管 Microsoft Foundry 專案的租用戶確認您已登入。
  • 確認您的帳戶具有 Foundry 專案的 Azure AI 開發人員角色。
  • [確認] AZURE_AI_PROJECT_ENDPOINT 會指向正確的 Microsoft Foundry 專案。
  • 檢查) 中的 AZURE_AI_MODEL_NAME (或模型集是否gpt-5-mini已部署在 Microsoft Foundry 專案中。

執行階段問題

在成功安裝後執行評估時發生的問題。

找不到代理程式

如果工具找不到您的代理程式:

  • 驗證正確 M365_AGENT_ID 無誤。 對於 Agents Toolkit 專案,CLI 會自動從 M365_TITLE_ID.env.local中偵測它,因此請改為檢查該值 — 請參閱 取得您的代理程式 ID。
  • 確認您的代理程式已部署至所指定的 TENANT_ID租用戶。
  • 確定您具有存取代理程式的權限。
  • 請嘗試明確指定代理程式識別碼: runevals --m365-agent-id "<your-agent-id>"。

評估失敗

如果評估開始但在執行中途失敗:

  • 使用詳細記錄執行以查看詳細錯誤: runevals --log-level debug。
  • 檢查一般故障類別的結束代碼。 請參閱 CLI 參考中的 結束碼 。

警告

該 --log-level debug 選項可以在主控台輸出中包含原始 API 承載和回應資料。 密文是以模式為基礎,可能無法擷取所有 PII 或自訂認證。 未經人工審查的情況下,請勿公開共用偵錯層級輸出。

v2 預覽) (工具呼叫評估問題

ToolCallSelection 和 ToolCallExecution 需要 @microsoft/m365-copilot-eval@preview 和結構描述 v2。 它們在 v1 (latest) 中不可用。

問題 動作
toolCallNotAllowed 檢閱要求的同意識別碼,並使用 default_allowed_tools 或 allowed_tools核准預期的作業。 評估者的期望不會授與同意。
toolCallEvidenceIndeterminate 檢查 diagnostics.tool_calls 無法使用的證據或無法剖析的 HTTP 結果。 錯誤不是通過,也不一定是代理程式缺陷。
預期通話不相符 檢查區分 plugin_id大小寫的 、 toolset_id和 function_name。 plugin_id 是套件標題 ID,而不是 plugin.id。
已儲存的工具呼叫結果無法重新評分 確認儲存的項目或輪次包含 response 和保留的診斷。 已隱藏 EVALS_SUPPRESS_DIAGNOSTICS=true 的證據無法進行重播。
外掛程式評估以代理程式為目標 從殼層和載入的環境檔案中移除 M365_AGENT_ID 和舊版 AGENT_ID ,並省 --m365-agent-id略 。

如需探索命令、範例,以及失敗與錯誤之間的區別,請參閱 工具呼叫評估程式。

環境問題

快取的 Python 執行時間、快取目錄或網路連線的問題。

快取問題

評估工具會針對 Python 執行階段和相依性使用本機快取。

# View cache info
runevals cache-info

# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug

權限問題

如果快取作業失敗且出現權限錯誤:

# View the cache directory path
runevals cache-dir

# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)

# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T

網路或 Proxy 問題

如果初始化在公司 Proxy 之後失敗:

# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080

# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"

# Retry initialization with verbose output
runevals --init-only --log-level debug

取得支援

如果本文稍早的疑難排解步驟無法解決您的問題,請在 Microsoft 365 Copilot 評估 GitHub 存放庫中提出問題。

在提出問題之前,請收集:

  • CLI 版本: runevals --version。
  • 您執行的確切命令。
  • 錯誤輸出 (密文任何 PII、金鑰或租用戶特定識別碼) 。
  • 您的作業系統和 Node.js 版本: node --version。

若要提交問題: