RelevanceTruthAndCompletenessEvaluator Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Qui IEvaluator évalue la « Pertinence », « Vérité » et « Complétivité » d’une réponse produite par un modèle IA.
public ref class RelevanceTruthAndCompletenessEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatortype RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceTruthAndCompletenessEvaluator
Implements IEvaluator- Héritage
-
RelevanceTruthAndCompletenessEvaluator
- Attributs
- Implémente
Remarques
RelevanceTruthAndCompletenessEvaluator retourne trois NumericMetrics qui contiennent des scores pour « Pertinence (RTC) », « Vérité (RTC) » et « Completeness (RTC) » respectivement. Chaque score est un nombre compris entre 1 et 5, avec 1 indiquant un score médiocre, et 5 indiquant un excellent score.
Note:RelevanceTruthAndCompletenessEvaluator est un évaluateur basé sur l’IA qui utilise un modèle IA pour effectuer son évaluation. Bien que l’invite utilisée par cet évaluateur pour effectuer son évaluation soit conçue pour être indépendante du modèle, les performances de cette invite (et de l’évaluation résultante) peuvent varier en fonction du modèle utilisé et peuvent être particulièrement médiocres lorsqu’un modèle plus petit/local est utilisé.
L’invite qui RelevanceTruthAndCompletenessEvaluator utilise a été testée sur (et paramétrée pour fonctionner correctement avec) les modèles suivants. Par conséquent, l’utilisation de cet évaluateur avec un modèle de la liste suivante est susceptible de produire les meilleurs résultats. (Le modèle à utiliser peut être configuré via ChatClient.)
GPT-4o
Constructeurs
| Nom | Description |
|---|---|
| RelevanceTruthAndCompletenessEvaluator() |
Qui IEvaluator évalue la « Pertinence », « Vérité » et « Complétivité » d’une réponse produite par un modèle IA. |
Propriétés
| Nom | Description |
|---|---|
| CompletenessMetricName |
Obtient l’élément NameNumericMetric retourné par RelevanceTruthAndCompletenessEvaluator « Completeness ». |
| EvaluationMetricNames |
Obtient les Names des EvaluationMetrics produites par ce IEvaluator. |
| RelevanceMetricName |
Obtient l’élément NameNumericMetric retourné par RelevanceTruthAndCompletenessEvaluator « Pertinence ». |
| TruthMetricName |
Obtient le NameNumericMetric retour par RelevanceTruthAndCompletenessEvaluator « Vérité ». |
Méthodes
| Nom | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Évalue l’élément fourni |
