エージェントに対する人間評価を準備する (プレビュー)

この記事では、Foundry エージェントの人間による評価を設定する方法について説明します。 エージェント ビルダーとして、関心のある重要な側面に重点を置いた評価質問テンプレートを定義します。 人間のレビュー担当者 (ピア、データ サイエンティスト、またはコンプライアンス チーム メンバー) は、エージェントのプレビュー エクスペリエンスでエージェントの応答ごとにこれらのテンプレートを完成します。 レビュー担当者が評価を送信したら、Foundry ポータルから直接結果を表示してダウンロードし、さらに分析することができます。

前提 条件

• 1 つ以上のエージェントを含む Foundry プロジェクト。

• Application Insightsがプロジェクト用に構成されました。

• Foundry project のFoundry Project Manager ロール (またはそれ以上) を使用して、評価テンプレートを作成および管理します。 詳細については、「Microsoft Foundry の Role ベースのアクセス制御」を参照してください。

  重要

  Foundry RBAC ロールの名前が最近変更されました。 Foundry User, Foundry Owner, Foundry Account Owner、および Foundry Project Manager は、以前は、AZURE AI ユーザー、Azure AI 所有者、Azure AI アカウント所有者、および AZURE AI Project Manager という名前でした。 名前の変更がロールアウトされている間、以前の名前が表示される場合があります。ロール ID とコア アクセス許可は、名前の変更によって変更されません。

• 人間のレビュアーの場合: プレビュー Web アプリにアクセスし、フィードバックを送信するには、Foundry プロジェクトで最低限 Foundry User ロールと、アカウントで Reader ロールが必要です。

人間の評価テンプレートを作成する

Foundry エージェントの人間による評価を始めるには、エージェントの応答に基づいて人間のレビュー担当者が答えるべき質問をまとめたテンプレートを作成してください。

1. [ エージェント] タブ のエージェント テーブルから、評価するエージェントを選択します。

2. [評価] の下の [人間の評価] タブに移動します。

3. [ 新しいテンプレートの作成] を選択して、テンプレートの作成プロセスを開始します。

4. [ 人間評価テンプレートの作成 ] ポップアップで、名前と説明を割り当て、サンプルの質問を編集または削除し、評価の目標に基づいて新しい質問を追加します。 サポートされている質問の種類には、サムズアップ/ダウン、スライダー、選択肢、自由入力形式のテキストが含まれます。

   ヒント

   種類別の質問の例:

   • 親指を立てる/下げる: "この回答は正確でしたか?"
   • スライダー (1 ~ 5): "この応答の有用性を評価します。"
   • 複数の選択肢: "この応答を最もよく表すのはどれですか? (正しい/部分的に正しい/正しくない)"
   • 自由形式のテキスト: "この応答を改善した追加のコンテキストは何ですか?

5. テンプレートを構成したら、[ 作成 ] を選択して最終処理を行います。

新しいテンプレートが 、非アクティブ 状態のテンプレート テーブルに表示されます。 レビュー担当者が評価を開始する前にアクティブにします。

評価テンプレートを管理する

評価のニーズに基づいて、複数の評価テンプレートを作成できます。 テンプレート テーブルを使用すると、テンプレートを編集、削除、アクティブまたは非アクティブとして設定できます。

• テンプレート テーブルで [編集] を 選択して、テンプレートを更新します。 テンプレートが編集可能なポップアップで開きます。
• テンプレートを削除するには、[ 削除] を選択します 。

  メモ

  一度削除すると、ポータルからテンプレートとそれに関連付けられている評価結果を取得することはできません。

• テンプレートをアクティブとして設定するには、テンプレート テーブルで [アクティブとして設定 ] を選択します。 任意の時点でアクティブにできるテンプレートは 1 つだけです。 新しいテンプレートをアクティブにすると、前のテンプレートが自動的に非アクティブ化されます。 現在のテンプレートの人間による評価結果のキャプチャを停止するには 、[非アクティブとして設定 ] を選択します。

人間の評価を行う

評価テンプレートを構成し、ターゲット エージェントに対してアクティブとして設定すると、人間のレビュー担当者はプレビュー Web アプリから評価を開始できます。 この Web アプリは、エージェント ビルダーから直接起動するブラウザー ベースのチャット インターフェイスです。

1. エージェント ビルダーの右上隅にある [プレビュー ] を選択して、ブラウザーベースのチャット インターフェイスでエージェントを開きます。
2. 入力を入力し、[ 送信 ] を選択してエージェントの実行をトリガーします。
3. エージェントが応答したら、[ フィードバック ] ボタンを選択して、その応答に対する人間による評価を提供します。
   • サイド パネルが表示され、アクティブな評価テンプレートが表示されます。
   • 校閲者は、フォームの一部またはすべての質問に回答できます。
4. 評価データを保存するには [保存] を選択し、破棄するには [キャンセル] を選択します。
5. 新しい入力を入力するか、以前の応答に移動して、追加の応答の評価を続けます。
   • レビュー担当者は、特定の応答の評価をスキップしたり、同じ応答に対して複数の評価を送信したりできます。

エージェント ビルダーは、[評価結果] セクションで各エージェントの応答の保存された 評価 を表示できます。

人間の評価結果を確認する

人間のレビュー担当者が評価を完了すると、エージェント ビルダーは Foundry ポータルを使用して結果をプレビューおよびダウンロードして詳細な分析を行うことができます。

1. [ ヒューマン評価 ] タブ内のテンプレート テーブルに移動し、結果を確認するテンプレートを選択します。
2. 対応するすべての評価結果が[ 評価結果 ]セクションに表示されます。 各インスタンスは、参照用のタイムスタンプと共に表示されます。
3. 評価インスタンスを選択すると、[JSON 出力] セクションにその JSON の概要が表示されます。 JSON には次のものが含まれます。
   • タイムスタンプ
   • ユーザー プロンプト
   • エージェントの応答
   • 評価テンプレートからの質問
   • 校閲者の回答
4. テンプレートのすべての評価結果をダウンロードするには、[結果の ダウンロード] を選択します。 結果は、各評価インスタンスの JSON ビューのすべての情報を含む CSV ファイルとしてエクスポートされます。

ダウンロードした CSV には、評価インスタンスごとに 1 行が含まれています。JSON ビューの各フィールドの列が含まれています。

関連コンテンツ

• AI エージェントを評価する
• エージェント トレースの概要
• 評価と監視の問題のトラブルシューティング