RetrievalEvaluator Classe
Definição
Importante
Algumas informações dizem respeito a um produto pré-lançado que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, de forma expressa ou implícita, em relação à informação aqui apresentada.
Um que avalia o desempenho de um sistema de IA na recuperação de informação para contexto adicional em resposta a um pedido do IEvaluator utilizador (por exemplo, num cenário de Geração Aumentada de Recuperação (RAG).
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Herança
-
RetrievalEvaluator
- Implementações
Observações
RetrievalEvaluator mede o grau em que a informação presente nos blocos de contexto fornecidos RetrievedContextChunks é relevante para o pedido do utilizador e quão bem esses blocos são classificados (com a informação mais relevante a aparecer antes da menos relevante). Devolve um NumericMetric que contém uma partitura para 'Recuperação'. A pontuação é um número entre 1 e 5, sendo 1 uma pontuação fraca e 5 uma pontuação excelente.
Pontuações elevadas de recuperação indicam que o sistema de IA extraiu e classificou com sucesso a informação mais relevante no topo, sem introduzir viés de conhecimento externo e ignorando a correção factual. Por outro lado, pontuações baixas de recuperação sugerem que o sistema de IA não conseguiu destacar os blocos de contexto mais relevantes no topo da lista e/ou introduziu viés e ignorou a correção factual.
Nota:RetrievalEvaluator é um avaliador baseado em IA que utiliza um modelo de IA para realizar a sua avaliação. Embora o prompt que este avaliador utiliza para realizar a sua avaliação seja concebido para ser independente do modelo, o desempenho deste prompt (e da avaliação resultante) pode variar consoante o modelo utilizado, e pode ser especialmente fraco quando se utiliza um modelo mais pequeno ou local.
O prompt que RetrievalEvaluator utiliza foi testado contra (e ajustado para funcionar bem) com os seguintes modelos. Portanto, usar este avaliador com um modelo da lista seguinte é provável que produza os melhores resultados. (O modelo a ser utilizado pode ser configurado via ChatClient.)
GPT-4o
Construtores
| Name | Descrição |
|---|---|
| RetrievalEvaluator() |
Um que avalia o desempenho de um sistema de IA na recuperação de informação para contexto adicional em resposta a um pedido do IEvaluator utilizador (por exemplo, num cenário de Geração Aumentada de Recuperação (RAG). |
Propriedades
| Name | Descrição |
|---|---|
| EvaluationMetricNames |
Obtém o Names do EvaluationMetrics produzido por isto IEvaluator. |
| RetrievalMetricName |
Obtém o Name de devolvido NumericMetric por RetrievalEvaluator. |
Métodos
| Name | Descrição |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Avalia o fornecido |
