RelevanceEvaluator Classe

Définition

public ref class RelevanceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

public sealed class RelevanceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

type RelevanceEvaluator = class
    interface IEvaluator

Public NotInheritable Class RelevanceEvaluator
Implements IEvaluator

Héritage

Object

RelevanceEvaluator

Implémente

IEvaluator

Remarques

RelevanceEvaluator mesure les performances d’un système d’ia pour comprendre l’entrée et générer des réponses contextuellement appropriées. Elle retourne un NumericMetric score qui contient un score pour « Pertinence ». Le score est un nombre compris entre 1 et 5, avec 1 indiquant un score médiocre, et 5 indiquant un excellent score.

Les scores de pertinence élevés indiquent que le système d’IA comprend l’entrée et sa capacité à produire des sorties cohérentes et contextuellement appropriées. À l’inverse, les scores de pertinence faibles indiquent que les réponses générées peuvent être hors sujet, qu’elles manquent de contexte ou qu’elles ne sont pas suffisantes pour traiter les requêtes prévues de l’utilisateur.

Note:RelevanceEvaluator est un évaluateur basé sur l’IA qui utilise un modèle IA pour effectuer son évaluation. Bien que l’invite utilisée par cet évaluateur pour effectuer son évaluation soit conçue pour être indépendante du modèle, les performances de cette invite (et de l’évaluation résultante) peuvent varier en fonction du modèle utilisé et peuvent être particulièrement médiocres lorsqu’un modèle plus petit/local est utilisé.

L’invite qui RelevanceEvaluator utilise a été testée sur (et paramétrée pour fonctionner correctement avec) les modèles suivants. Par conséquent, l’utilisation de cet évaluateur avec un modèle de la liste suivante est susceptible de produire les meilleurs résultats. (Le modèle à utiliser peut être configuré via ChatClient.)

GPT-4o