RelevanceTruthAndCompletenessEvaluator Klass
Definition
Viktigt
En del information gäller för förhandsversionen av en produkt och kan komma att ändras avsevärt innan produkten blir allmänt tillgänglig. Microsoft lämnar inga garantier, uttryckliga eller underförstådda, avseende informationen som visas här.
En IEvaluator som utvärderar relevans, sanning och fullständighet för ett svar som skapats av en AI-modell.
public ref class RelevanceTruthAndCompletenessEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatortype RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceTruthAndCompletenessEvaluator
Implements IEvaluator- Arv
-
RelevanceTruthAndCompletenessEvaluator
- Attribut
- Implementeringar
Kommentarer
RelevanceTruthAndCompletenessEvaluator returnerar tre NumericMetrics som innehåller poäng för "Relevans (RTC)", "Sanning (RTC)" respektive "Fullständighet (RTC)". Varje poäng är ett tal mellan 1 och 5, med 1 som indikerar en dålig poäng och 5 som indikerar en utmärkt poäng.
Observera:RelevanceTruthAndCompletenessEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.
Uppmaningen som RelevanceTruthAndCompletenessEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)
GPT-4o
Konstruktorer
| Name | Description |
|---|---|
| RelevanceTruthAndCompletenessEvaluator() |
En IEvaluator som utvärderar relevans, sanning och fullständighet för ett svar som skapats av en AI-modell. |
Egenskaper
| Name | Description |
|---|---|
| CompletenessMetricName |
Hämtar den Name returnerade NumericMetric av RelevanceTruthAndCompletenessEvaluator för "Completeness". |
| EvaluationMetricNames |
Hämtar s:erna NameEvaluationMetricsom produceras av den här IEvaluator. |
| RelevanceMetricName |
Hämtar den Name returnerade NumericMetric av RelevanceTruthAndCompletenessEvaluator för "Relevans". |
| TruthMetricName |
Får det Name som NumericMetric returneras av RelevanceTruthAndCompletenessEvaluator för "Sanning". |
Metoder
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Utvärderar den angivna |
