RelevanceTruthAndCompletenessEvaluator Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Um IEvaluator que avalia a 'Relevância', a 'Verdade' e a 'Integridade' de uma resposta produzida por um modelo de IA.
public ref class RelevanceTruthAndCompletenessEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class RelevanceTruthAndCompletenessEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatortype RelevanceTruthAndCompletenessEvaluator = class
interface IEvaluatorPublic NotInheritable Class RelevanceTruthAndCompletenessEvaluator
Implements IEvaluator- Herança
-
RelevanceTruthAndCompletenessEvaluator
- Atributos
- Implementações
Comentários
RelevanceTruthAndCompletenessEvaluator retorna três NumericMetrics que contêm pontuações para 'Relevância (RTC)', 'Verdade (RTC)' e 'Completeness (RTC)', respectivamente. Cada pontuação é um número entre 1 e 5, com 1 indicando uma pontuação ruim e 5 indicando uma excelente pontuação.
Nota:RelevanceTruthAndCompletenessEvaluator é um avaliador baseado em IA que usa um modelo de IA para executar sua avaliação. Embora o prompt que esse avaliador usa para executar sua avaliação seja projetado para ser independente de modelo, o desempenho desse prompt (e a avaliação resultante) pode variar dependendo do modelo usado e pode ser especialmente ruim quando um modelo menor/local é usado.
O prompt que RelevanceTruthAndCompletenessEvaluator usa foi testado (e ajustado para funcionar bem com) os modelos a seguir. Portanto, usar esse avaliador com um modelo da lista a seguir provavelmente produzirá os melhores resultados. (O modelo a ser usado pode ser configurado por meio de ChatClient.)
GPT-4o
Construtores
| Nome | Description |
|---|---|
| RelevanceTruthAndCompletenessEvaluator() |
Um IEvaluator que avalia a 'Relevância', a 'Verdade' e a 'Integridade' de uma resposta produzida por um modelo de IA. |
Propriedades
| Nome | Description |
|---|---|
| CompletenessMetricName |
Obtém o Name do NumericMetric retornado por RelevanceTruthAndCompletenessEvaluator 'Completeness'. |
| EvaluationMetricNames |
Obtém os Names dos EvaluationMetrics produzidos por este IEvaluator. |
| RelevanceMetricName |
Obtém o Name do NumericMetric retornado por RelevanceTruthAndCompletenessEvaluator 'Relevância'. |
| TruthMetricName |
Obtém o Name do NumericMetric retornado por RelevanceTruthAndCompletenessEvaluator 'Truth'. |
Métodos
| Nome | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Avalia o fornecido |
