CompletenessEvaluator クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
AI モデルによって生成された応答の "完全性" を評価する IEvaluator 。
public ref class CompletenessEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator
public sealed class CompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator
type CompletenessEvaluator = class
interface IEvaluator
Public NotInheritable Class CompletenessEvaluator
Implements IEvaluator
- 継承
-
CompletenessEvaluator
- 実装
注釈
CompletenessEvaluator は、包括的で正確な応答を提供する AI システムの能力を測定します。 応答が、提供された GroundTruthで確立された重要な情報、要求、およびステートメントとどの程度完全に一致しているかを評価します。 'Completeness' のスコアを含む NumericMetric を返します。 スコアは 1 から 5 までの数値で、1 はスコアが低く、5 は優れたスコアを示します。
注:CompletenessEvaluator は、AI モデルを使用してその評価を実行する AI ベースのエバリュエーターです。 このエバリュエーターが評価を実行するために使用するプロンプトはモデルに依存しないように設計されていますが、このプロンプト (および結果の評価) のパフォーマンスは、使用されるモデルによって異なる場合があり、小さいモデルやローカル モデルを使用する場合は特に低下する可能性があります。
CompletenessEvaluator使用するプロンプトは、次のモデルに対してテスト (および適切に動作するように調整) されています。 そのため、次の一覧のモデルでこのエバリュエーターを使用すると、最適な結果が得られる可能性があります。 (使用するモデルは、 ChatClientを使用して構成できます)。
GPT-4o
コンストラクター
| 名前 | 説明 |
|---|---|
| CompletenessEvaluator() |
AI モデルによって生成された応答の "完全性" を評価する IEvaluator 。 |
プロパティ
| 名前 | 説明 |
|---|---|
| CompletenessMetricName |
Nameによって返されるNumericMetricのCompletenessEvaluatorを取得します。 |
| EvaluationMetricNames |
このNameによって生成されたEvaluationMetricのIEvaluatorを取得します。 |
メソッド
| 名前 | 説明 |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
指定した |