Microsoft 365 Copilot Agent Evaluations CLI (@microsoft/m365-copilot-eval) は、環境変数から接続と認証の設定を読み取ります。 この記事では、各値を取得する場所を示します。
変数のリストとその配置場所については、「 エージェント評価CLIの概要 と クイックスタート:エージェント評価CLIの使用」を参照してください。
開始する前に
値を収集する前に、次のアイテムを収集します。
- Microsoft Foundry プロジェクトで Azure OpenAI モデルをホストする Azure サブスクリプションへのアクセス。
- Copilot エージェントが展開されている Microsoft 365 テナントへのサインイン アクセス。
- Microsoft Foundry プロジェクトでの Azure AI 開発者ロール。 モデルをデプロイしたり、プロジェクトにアクセスしたりできない場合は、サブスクリプション管理者に問い合わせてください。
テナント ID (TENANT_ID) を取得する
TENANT_IDは、エージェントが展開されている Microsoft Entra テナント ID です。 これは、 xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx という形式の GUID です。
次のいずれかの方法を使用します。
オプション 1: Microsoft Entra 管理センター
- ターゲット テナントのアカウントを使用して Microsoft Entra 管理センター にサインインします。
- [ID>概要] を選択します。
- テナント ID の値をコピーします。
オプション 2: Azure CLI
Azure CLI がインストールされている場合:
az account show --query tenantId --output tsv
複数のテナントに属している場合は、最初に正しいテナントにサインインします。
az login --tenant <tenant-domain-or-id>
オプション 3: Azure portal
- Azure portal にサインインし
- ポータル メニューから [Microsoft Entra ID] を選択します。
- [概要] ページからテナント ID をコピーします。
ヒント
runevals接続できるが、エージェントが見つからないと報告された場合、最も一般的な原因は、エージェントが展開されているテナントと一致しないTENANT_IDです。 「 テナントの不一致」を参照してください。
Microsoft Foundry に GPT-5 ミニ モデルをデプロイする
評価ツールでは、Microsoft Foundry プロジェクトと GPT-5 モデルを使用して、クラウド評価で応答をスコアリングします。 GPT-5 mini をお勧めしますが、任意の GPT-5 モデルを使用できます。 プロジェクト エンドポイント (AZURE_AI_PROJECT_ENDPOINT) とモデル デプロイ名 (AZURE_AI_MODEL_NAME) が必要です。 Foundry パスは Microsoft Entra で認証されるため、API キーは必要ありません。
デプロイされたモデルを含む Microsoft Foundry プロジェクトがまだない場合は、次の手順に従って作成します。
Azure portal にサインインし
検索バーに「OpenAI」と入力し、結果から [Azure OpenAI] を選択します。
[ 作成] を選択して Microsoft Foundry リソースを作成します。
AI Foundry リソースの作成 フォームで、詳細を入力し、 [レビュー + 作成] を選択します。
リソースがデプロイされたら、 Microsoft Foundry ポータルを開きます。
左側のナビゲーションで、 [ モデル + エンドポイント] を選択します。
[モデルのデプロイ]>[基本モデルのデプロイ] を選択します。 gpt-5-mini モデルを選択します。 GPT-5 mini は、Foundry クラウド評価パスでサポートされています。
[ 確認] を選択してから、[ カスタマイズ] を選択します。
評価ワークロードの必要に応じて容量を調整します。
[ デプロイ] を選択し、デプロイが [成功] を報告するまで待ちます。
Foundry プロジェクトのホーム ページで、 プロジェクト エンドポイントをコピーします。 この値は
AZURE_AI_PROJECT_ENDPOINT用です。[ 最近の作業] で、GPT-5 ミニ展開を選択します。 デプロイの [詳細 ] タブで、デプロイ 名をコピーします。 この値は
AZURE_AI_MODEL_NAME用です。これらの値を env ファイルに追加します。 詳細については、 クイックスタートの手順 3 を参照してください。
Microsoft Entra でサインインする
Foundry クラウド評価パスでは、API キーの代わりに Microsoft Entra 認証が使用されます。 評価を実行する前に、Azure CLI を使用してサインインします。
az login
Foundry プロジェクトが別のテナントにある場合は、そのテナントにサインインします。
az login --tenant <tenant-id>
Foundry プロジェクトで Azure AI 開発者ロールが必要です。
エージェント ID を取得する (M365_AGENT_ID)
M365_AGENT_ID
runevals がテスト プロンプトを送信する Copilot エージェントを識別します。 CLI は、次の 2 つの形式を受け入れます。
- ユーザー スコープ:
U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx - テナント スコープ:
T_<agent-name>.declarativeAgent
Microsoft 365 Agents Toolkit プロジェクト
Microsoft 365 Agents Toolkit を使用してエージェントを構築した場合は、直接 M365_AGENT_ID を設定する必要はありません。 CLI は、プロビジョニング中にエージェント ツールキットが .env.local に書き込むエージェント ID を M365_TITLE_ID から自動的に検出します。
確認するには、プロジェクトのルートで .env.local を開き、次のような行を探します。
M365_TITLE_ID="U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
Microsoft 365 Agents Toolkit 以外のプロジェクト
env/.env.<environment> で明示的にM365_AGENT_IDを設定します。 エージェントが発行された場所 (Microsoft Teams 管理センター、Microsoft 365 管理センター、発行パイプラインからの展開出力など) から値を取得します。
実行時にエージェントをオーバーライドする
env ファイルを編集せずに別のエージェントを評価するには、コマンド ラインで --m365-agent-id を渡します。
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
詳細については、CLI リファレンスの --m365-agent-id を参照してください。
モデルのデプロイを設定する
2 つの変数により、CLI がスコアリングに使用する Microsoft Foundry プロジェクトとモデルの展開を制御します。
AZURE_AI_MODEL_NAME には動作する既定値があるため、既定値をそのまま受け入れるか、または env ファイルで両方の値を明示的に設定できます。
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # deployment name in Foundry
| 変数 | 既定値 | 変更するタイミング |
|---|---|---|
AZURE_AI_PROJECT_ENDPOINT |
なし | この値を常に、スコアリングに使用される Microsoft Foundry プロジェクトのエンドポイントに設定してください。 |
AZURE_AI_MODEL_NAME |
gpt-5-mini |
Microsoft Foundry プロジェクトで別のデプロイでスコアを得たい。 |
AZURE_AI_MODEL_NAME 配置名と Microsoft Foundry プロジェクトに表示される名前と正確に一致する必要があります。
Foundry から AZURE_AI_MODEL_NAME を入手する
- Microsoft Foundry ポータルにサインインしてプロジェクトを開きます。
- モデル + エンドポイントを選択します。
- スコアリングに使用するモデルの デプロイ名 をコピーします。
価値を検証する
値を収集し、適切な環境ファイルに追加した後 ( クイック スタートの手順 3 を参照)、次を実行します。
runevals --init-only --log-level debug
このコマンドは、環境を読み込み、Python ランタイムを初期化し、評価を実行せずに構成エラーを表示します。 エラーなしで完了した場合は、値が正しく読み込まれています。
警告
--log-level debug 生の API ペイロードが印刷される場合があります。 共有する前に出力を確認します。 墨消しはパターンベースであり、すべてのキーまたは識別子をキャッチしない場合があります。
トラブルシューティング
次の表を使用して、発生する可能性のある問題のトラブルシューティングを行います。
| 現象 | 考えられる原因 | 次の手順 |
|---|---|---|
| 起動時の認証エラー | 間違った Microsoft 365 アカウントにサインインしたか、 TENANT_ID がエージェントのテナントと一致しません。 |
「 認証エラー」を参照してください。 |
| ツールは接続するが、エージェントが見つかりません |
TENANT_ID 不一致の場合、エージェントがそのテナントにデプロイされていません。 |
「 テナントの不一致」を参照してください。 |
| 401 または 403 でスコアリングが失敗する |
az login でサインインしていないか、アカウントに Foundry プロジェクトでのAzure AI 開発者ロールがありません。 |
「Foundry スコアリング エラー」を参照してください。 |
| env ファイルの値は無視されます | 優先順位の前の別の環境ファイルで同じ変数が設定されます。 | 環境ファイルの優先順位を参照してください。 |