Microsoft 365 Copilot評估 CLI () @microsoft/m365-copilot-eval 從環境變數讀取連線和驗證設定。 本文將說明從何處取得每個值。
如需變數清單及其放置位置,請參閱 Microsoft 365 Copilot 評估 CLI 概觀和快速入門:使用 Microsoft 365 Copilot 評估 CLI。
開始之前
收集值之前,請先收集下列項目:
- 存取在 Microsoft Foundry 專案中託管 Azure OpenAI 模型的 Azure 訂閱。
- 登入存取部署 Copilot 代理程式所在的 Microsoft 365 租用戶。
- Microsoft Foundry 專案上的 Azure AI 開發人員角色。 如果您無法部署模型或存取專案,請詢問您的訂用帳戶系統管理員。
取得您的租用戶識別碼 (TENANT_ID)
TENANT_ID是部署代理程式所在的 Microsoft Entra 租用戶識別碼。 這是表單 xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx中的 GUID。
請使用下列任一方法。
選項 1:Microsoft Entra 系統管理中心
- 使用目標租使用者中的帳戶登入 Microsoft Entra 系統管理中心。
- 選取 [身分識別>概觀]。
- 複製 租用戶識別碼 值。
選項 2:Azure CLI
如果您已安裝 Azure CLI:
az account show --query tenantId --output tsv
如果您屬於多個租用戶,請先登入正確的租用戶:
az login --tenant <tenant-domain-or-id>
選項 3:Azure 入口網站
- 登入 Azure 入口網站。
- 從入口網站功能表中選取 Microsoft Entra ID。
- 從 [概觀] 頁面複製租用戶識別碼。
秘訣
如果連線但報告找不到您的代理程式,則 runevals 最常見的原因是 不 TENANT_ID 符合代理程式部署到的租用戶。 請參閱 租用戶不相符。
在 Microsoft Foundry 中部署 GPT-5 迷你模型
評估工具會使用 Microsoft Foundry 專案搭配 GPT-5 模型,透過雲端評估來對回應進行評分。 建議使用 GPT-5 mini,但您可以使用任何 GPT-5 模型。 您需要專案端點 (AZURE_AI_PROJECT_ENDPOINT) 和模型部署名稱 (AZURE_AI_MODEL_NAME) 。 鑄造廠路徑會使用 Microsoft Entra 進行驗證,因此您不需要 API 金鑰。
如果您還沒有已部署模型的 Microsoft Foundry 專案,請按照下列步驟建立一個:
登入 Azure 入口網站。
在搜尋列中,輸入 OpenAI,然後從結果中選取 [Azure OpenAI]。
選取 [建立] 以建立 Microsoft Foundry 資源。
在 [建立 AI Foundry] 資源 表單上,填寫詳細資料,然後選取 [ 檢閱 + 建立]。
部署資源之後,開啟 Microsoft Foundry 入口網站。
在左側瀏覽中,選取模型 + 端點。
選取 部署模型>部署基底模型。 選取 gpt-5-mini 模型。 Foundry 雲端評估路徑支援 GPT-5 mini。
選取 [確認],然後選取 [ 自訂]。
視需要調整評估工作負載的容量。
選取 [部署] ,然後等待 部署報告成功。
從 Foundry 專案首頁,複製 專案端點。 此值適用於
AZURE_AI_PROJECT_ENDPOINT。在 [最近的工作] 底下,選取 GPT-5 迷你部署。 在部署的 [詳細資料 ] 索引標籤上,複製部署 名稱。 此值適用於
AZURE_AI_MODEL_NAME。將這些值新增至您的 env 檔案。 如需詳細資訊,請參閱 快速入門的步驟 3。
使用 Microsoft Entra 登入
Foundry 雲端評估路徑使用 Microsoft Entra 驗證,而非 API 金鑰。 執行評估之前,請先使用 Azure CLI 登入:
az login
如果 Foundry 專案位於不同的租用戶中,請登入該租用戶:
az login --tenant <tenant-id>
您需要 Foundry 專案的 Azure AI 開發人員角色。
取得您的客服專員識別碼 (M365_AGENT_ID)
M365_AGENT_ID 識別傳送測試提示的目標 runevals Copilot 代理程式。 CLI 接受兩種格式:
- 使用者範圍:
U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx - 租用戶範圍:
T_<agent-name>.declarativeAgent
Microsoft 365 Agents Toolkit 專案
如果您是使用 Microsoft 365 代理程式工具組建立代理程式,則不需要直接設定 M365_AGENT_ID 。 CLI 會自動偵測代理程式識別碼 M365_TITLE_ID,代理程式工具組會在佈建期間寫入 .env.local 該識別碼。
若要確認, .env.local 請開啟專案根目錄,然後尋找類似下列的行:
M365_TITLE_ID="U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
非 Microsoft 365 Agents Toolkit 專案
明確地在 中env/.env.<environment>設定M365_AGENT_ID。 從代理程式的發佈位置取得值,例如 Microsoft Teams 系統管理中心、Microsoft 365 系統管理中心或發佈管線的部署輸出。
在執行階段覆寫代理程式
若要在不編輯 env 檔案的情況下評估不同的代理程式,請傳遞 --m365-agent-id 命令列:
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
如需詳細資訊,請參閱 --m365-agent-id CLI 參考資料。
設定模型部署
有兩個變數會控制 CLI 用於評分的 Microsoft Foundry 專案和模型部署。
AZURE_AI_MODEL_NAME 有一個有效的預設值,因此您可以接受預設值,或在 ENV 檔案中明確設定這兩個值:
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # deployment name in Foundry
| 變數 | 預設 | 變更時機 |
|---|---|---|
AZURE_AI_PROJECT_ENDPOINT |
無 | 一律將此值設定為用於評分的 Microsoft Foundry 專案端點。 |
AZURE_AI_MODEL_NAME |
gpt-5-mini |
您想要在 Microsoft Foundry 專案中使用不同的部署來評分。 |
AZURE_AI_MODEL_NAME 必須與部署名稱完全符合 Microsoft Foundry 專案中顯示的名稱。
AZURE_AI_MODEL_NAME從鑄造廠取得
- 登入 Microsoft Foundry 入口網站 並開啟您的專案。
- 選取 模型 + 端點。
- 複製您要用於評分之模型的 部署名稱 。
驗證您的值
收集值並將其新增至適當的 env 檔案之後 (請參閱 快速入門) 的步驟 3 ,請執行:
runevals --init-only --log-level debug
此命令載入您的環境、初始化 Python 執行階段,並在不執行評估的情況下呈現設定錯誤。 如果完成且沒有錯誤,表示您的值已正確載入。
警告
--log-level debug 可能會列印原始 API 承載。 共用輸出之前,請先檢閱輸出。 密文是以模式為基礎,可能無法擷取每個金鑰或識別碼。
疑難排解
使用下表來疑難排解您可能遇到的問題。
| 問題 | 可能原因 | 後續步驟 |
|---|---|---|
| 啟動時發生驗證錯誤 | 登入了錯誤的 Microsoft 365 帳戶,或 TENANT_ID 與代理程式的租用戶不相符。 |
請參閱 驗證錯誤。 |
| 工具連線,但找不到代理程式 |
TENANT_ID 不相符,或代理程式未部署到該租用戶。 |
請參閱 租用戶不相符。 |
| 評分失敗為 401 或 403 | 您未使用 az login,或您的帳戶缺少 Foundry 專案的 Azure AI 開發人員角色。 |
請參閱 鑄造廠評分錯誤。 |
| 忽略 env 檔案中的值 | 優先順序中較早的另一個 env 檔案會設定相同的變數。 | 請參閱 環境檔案優先順序。 |