Microsoft Foundry での評価

評価は、開発と本番環境を通じてモデルとエージェントの品質、安全性、信頼性を測定するのに役立ちます。 Microsoft Foundry では、テスト データセット内の既存の出力を評価したり、テスト入力を使用してモデルまたはエージェントから応答を生成したり、運用トレースを評価したりできます。

評価では、データまたはアプリケーションに 1 人以上の評価者を適用します。 エバリュエーターはメトリックを生成し、サポートされている場合は、バージョンの比較、品質の問題の検出、アプリケーションのデプロイ準備ができているかどうかを判断するのに役立つ説明を生成します。

評価ワークフローを構築する

ほとんどの評価ワークフローは、次の手順に従います。

1. 評価対象を選択してください。 個々のターンまたは完全な会話を選択し、既存のデータセット、生成された応答、シミュレートされた会話、または運用トレースを使用します。
2. 評価者を選択してください。 タスクの完了、関連性、接地性、類似性、コンテンツの安全性など、アプリケーションにとって重要な品質と安全性のメトリックを選択します。
3. 評価を実行します。 開発中に 1 回実行するか、CI/CD に追加するか、本番環境向けに定期的な評価を構成します。
4. 確認して改善してください。 集計メトリックと個々の結果を分析し、バージョンを比較し、定期的な障害パターンに対処します。

どこから始めるか選べます

評価方法を選択する

エバリュエーターを選択する前に、評価単位を選択してください。 ターンレベルの評価では、個々の応答がスコア付けされます。 会話レベルの評価では、完全な複数ターンの対話をスコア付けし、複数のステップにわたるタスクの完了などの結果を測定できます。 エバリュエーターは、特定の 評価レベルをサポートします。

評価の実行方法を選択する

必要なコンポーネントを見つける

• エバリュエーター:組み込みのエバリュエーターから始めるか、独自の条件のカスタム エバリュエーターを作成します。
• 評価データ:評価データセットを使用するタイミング、合成データを生成する方法、または運用トレースからデータセットを作成する方法について説明します。
• 結果:Foundry ポータルで結果を確認するか、 SDK を使用してクラウド評価結果を取得するか、 クラスター分析 を使用して一般的な障害パターンを見つけます。