RetrievalEvaluator Classe

Définition

public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

public sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

type RetrievalEvaluator = class
    interface IEvaluator

Public NotInheritable Class RetrievalEvaluator
Implements IEvaluator

Héritage

Object

RetrievalEvaluator

Implémente

IEvaluator

Remarques

RetrievalEvaluator mesure le degré auquel les informations présentes dans les blocs de contexte fournis par le biais RetrievedContextChunks sont pertinentes pour la demande de l’utilisateur et la façon dont ces blocs sont classés (avec les informations les plus pertinentes apparaissant avant les informations moins pertinentes). Elle retourne un NumericMetric score qui contient un score pour « Récupération ». Le score est un nombre compris entre 1 et 5, avec 1 indiquant un score médiocre, et 5 indiquant un excellent score.

Les scores de récupération élevés indiquent que le système d’INTELLIGENCE artificielle a correctement extrait et classé les informations les plus pertinentes en haut, sans introduire de biais des connaissances externes et ignorer l’exactitude des faits. À l’inverse, les scores de récupération faibles suggèrent que le système d’intelligence artificielle n’a pas pu exposer les segments de contexte les plus pertinents en haut de la liste et / ou introduit un biais et ignorer l’exactitude factuelle.

Note:RetrievalEvaluator est un évaluateur basé sur l’IA qui utilise un modèle IA pour effectuer son évaluation. Bien que l’invite utilisée par cet évaluateur pour effectuer son évaluation soit conçue pour être indépendante du modèle, les performances de cette invite (et de l’évaluation résultante) peuvent varier en fonction du modèle utilisé et peuvent être particulièrement médiocres lorsqu’un modèle plus petit/local est utilisé.

L’invite qui RetrievalEvaluator utilise a été testée sur (et paramétrée pour fonctionner correctement avec) les modèles suivants. Par conséquent, l’utilisation de cet évaluateur avec un modèle de la liste suivante est susceptible de produire les meilleurs résultats. (Le modèle à utiliser peut être configuré via ChatClient.)

GPT-4o