RetrievalEvaluator Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Um IEvaluator que avalia o desempenho de um sistema de IA na recuperação de informações para contexto adicional em resposta a uma solicitação de usuário (por exemplo, em um cenário de RAG (Geração Aumentada de Recuperação).
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Herança
-
RetrievalEvaluator
- Implementações
Comentários
RetrievalEvaluator mede o grau em que as informações presentes nas partes de contexto fornecidas por meio RetrievedContextChunks são relevantes para a solicitação do usuário e o quão bem essas partes são classificadas (com as informações mais relevantes aparecendo antes de informações menos relevantes). Ele retorna um NumericMetric que contém uma pontuação para 'Retrieval'. A pontuação é um número entre 1 e 5, com 1 indicando uma pontuação ruim e 5 indicando uma excelente pontuação.
As altas pontuações de recuperação indicam que o sistema de IA extraiu e classificou com êxito as informações mais relevantes na parte superior, sem introduzir o viés do conhecimento externo e ignorar a correção factual. Por outro lado, as pontuações de recuperação baixas sugerem que o sistema de IA falhou ao exibir as partes de contexto mais relevantes na parte superior da lista e/ou introduziu o viés e ignorou a correção factual.
Nota:RetrievalEvaluator é um avaliador baseado em IA que usa um modelo de IA para executar sua avaliação. Embora o prompt que esse avaliador usa para executar sua avaliação seja projetado para ser independente de modelo, o desempenho desse prompt (e a avaliação resultante) pode variar dependendo do modelo usado e pode ser especialmente ruim quando um modelo menor/local é usado.
O prompt que RetrievalEvaluator usa foi testado (e ajustado para funcionar bem com) os modelos a seguir. Portanto, usar esse avaliador com um modelo da lista a seguir provavelmente produzirá os melhores resultados. (O modelo a ser usado pode ser configurado por meio de ChatClient.)
GPT-4o
Construtores
| Nome | Description |
|---|---|
| RetrievalEvaluator() |
Um IEvaluator que avalia o desempenho de um sistema de IA na recuperação de informações para contexto adicional em resposta a uma solicitação de usuário (por exemplo, em um cenário de RAG (Geração Aumentada de Recuperação). |
Propriedades
| Nome | Description |
|---|---|
| EvaluationMetricNames |
Obtém os Names dos EvaluationMetrics produzidos por este IEvaluator. |
| RetrievalMetricName |
Obtém o Name do NumericMetric retornado por RetrievalEvaluator. |
Métodos
| Nome | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Avalia o fornecido |
