RelevanceTruthAndCompletenessEvaluator Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Een IEvaluator die de 'Relevantie', 'Waarheid' en 'Volledigheid' evalueert van een antwoord dat wordt geproduceerd door een AI-model.
public ref class RelevanceTruthAndCompletenessEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatortype RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceTruthAndCompletenessEvaluator
Implements IEvaluator- Overname
-
RelevanceTruthAndCompletenessEvaluator
- Kenmerken
- Implementeringen
Opmerkingen
RelevanceTruthAndCompletenessEvaluator retourneert drie NumericMetrics die scores bevatten voor respectievelijk 'Relevantie (RTC)', 'Waarheid (RTC)' en 'Volledigheid (RTC)'. Elke score is een getal tussen 1 en 5, waarbij 1 een slechte score aangeeft en 5 een uitstekende score aangeeft.
Opmerking:RelevanceTruthAndCompletenessEvaluator is een AI-evaluator die gebruikmaakt van een AI-model om de evaluatie uit te voeren. Hoewel de prompt die door deze evaluator wordt gebruikt om de evaluatie uit te voeren, is ontworpen om modelneutraal te zijn, kunnen de prestaties van deze prompt (en de resulterende evaluatie) variëren, afhankelijk van het gebruikte model en vooral slecht zijn wanneer een kleiner/ lokaal model wordt gebruikt.
De prompt die RelevanceTruthAndCompletenessEvaluator wordt gebruikt, is getest op (en afgestemd om goed te werken met) de volgende modellen. Het gebruik van deze evaluator met een model uit de volgende lijst levert dus waarschijnlijk de beste resultaten op. (Het model dat moet worden gebruikt, kan worden geconfigureerd via ChatClient.)
GPT-4o
Constructors
| Name | Description |
|---|---|
| RelevanceTruthAndCompletenessEvaluator() |
Een IEvaluator die de 'Relevantie', 'Waarheid' en 'Volledigheid' evalueert van een antwoord dat wordt geproduceerd door een AI-model. |
Eigenschappen
| Name | Description |
|---|---|
| CompletenessMetricName |
Hiermee haalt u de NameNumericMetric geretourneerde door RelevanceTruthAndCompletenessEvaluator voor 'Volledigheid'. |
| EvaluationMetricNames |
Haalt de Names van de EvaluationMetrics geproduceerd door deze IEvaluator. |
| RelevanceMetricName |
Hiermee haalt u de Name geretourneerde NumericMetric waarde RelevanceTruthAndCompletenessEvaluator op voor 'Relevantie'. |
| TruthMetricName |
Haalt de NameNumericMetric geretourneerde door RelevanceTruthAndCompletenessEvaluator voor 'Waarheid'. |
Methoden
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalueert de opgegeven |
