Microsoft Foundry ポータルで評価結果を表示する

この記事では、次の方法について説明します。

• 評価実行を見つけて開きます。
• 集計とサンプル レベルのメトリックを表示します。
• 実行間で結果を比較します。
• メトリックのカテゴリと計算を解釈します。
• メトリックの不足または部分的なトラブルシューティングを行います。

前提 条件

• Foundry プロジェクトのFoundry Userロール。 詳細については、Microsoft Foundry の ロールベースのアクセス制御 を参照してください。

  Important

  Foundry RBAC ロールの名前が最近変更されました。 Foundry User, Foundry Owner, Foundry Account Owner、および Foundry Project Manager は、以前は、AZURE AI ユーザー、Azure AI 所有者、Azure AI アカウント所有者、および AZURE AI Project Manager という名前でした。 名前の変更がロールアウトされている間、以前の名前が表示される場合があります。ロール ID とコア アクセス許可は、名前の変更によって変更されません。

• 完了した評価実行。

  • ポータルで評価を実行するには、「 生成 AI モデルとアプリケーションの評価」を参照してください。
  • SDK から評価を実行するには、「SDK から評価を実行する 」または 「AI エージェントを評価する」を参照してください。

評価結果を表示する

1. Foundry ポータルで、プロジェクトに移動し、左側のウィンドウから [評価] を選択します。

2. 一覧から評価実行を選択して、その詳細ページを開きます。 実行がまだ進行中の場合は、状態に [ 実行中 ] と表示され、完了すると自動的に更新されます。

   詳細ページには、次の情報が表示されます。

   フィールド	Description
   名前	評価実行の名前。
   ターゲット	評価されたモデルまたはエージェント。
   Dataset	使用されるテスト データセット。 ダウンロード アイコンを選択して CSV ファイルとしてエクスポートします。
   ステータス	実行の現在の状態 (実行中、 完了、または 失敗)。
   評価トークン	実行中にエバリュエーターによって使用されるトークン。
   ターゲット トークン	評価対象のモデルまたはエージェントによって使用されるトークン。
   スコア	使用される各エバリュエーターの集計スコア。

   

3. スコア セルにカーソルを合わせると、トークンの使用状況の詳細と追加のコンテキストが表示されます。

   

4. メトリックの詳細を選択して、メトリック定義とスコア付け式を表示します。

評価実行の詳細

実行の名前を選択して、個々のクエリの行レベルの結果を表示します。 各行ごとに、クエリ、応答、基準真実、評価者スコア、スコアの説明を確認できます。

評価結果を比較する

2 つ以上の実行を比較するには、比較する実行を選択し、プロセスを開始します。

1. 評価の詳細ページで 2 つ以上の実行を選択します。
2. [ 比較] を選択します。

選択したすべての実行について、横に並べた比較ビューが表示されます。

この比較では、統計的 t 検定を使用します。これによって、より機密性が高く信頼性の高い結果が得られ、意思決定に役立ちます。 この機能の異なる機能を使用できます。

• ベースライン比較: ベースライン実行を設定することで、他の実行を比較する基準点を特定できます。 各実行が選択した標準からどのように逸脱しているかを確認できます。
• 統計t検定評価: 各セルは統計的有意結果を異なる色コードで示します。 セルをポイントして、サンプル のサイズと p 値を取得することもできます。

組み込みの評価メトリックを理解する

組み込みのメトリックを理解することは、AI アプリケーションのパフォーマンスと有効性を評価するために不可欠です。 これらの主要な測定ツールについて学習することで、結果を解釈し、情報に基づいた意思決定を行い、アプリケーションを微調整して最適な結果を得ることができます。

詳細については、「 組み込みのエバリュエーター」を参照してください。

トラブルシューティング

関連コンテンツ

• Microsoft Foundry ポータルから評価を実行する
• SDK からバッチ評価を実行する
• 組み込みのエバリュエーター
• 微調整を使用してモデルのパフォーマンスを向上させる