RetrievalEvaluator Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
que IEvaluator evalúa el rendimiento de un sistema de INTELIGENCIA ARTIFICIAL para recuperar información para contexto adicional en respuesta a una solicitud de usuario (por ejemplo, en un escenario de generación aumentada de recuperación (RAG).
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Herencia
-
RetrievalEvaluator
- Implementaciones
Comentarios
RetrievalEvaluator mide el grado en que la información presente en los fragmentos de contexto proporcionados a través RetrievedContextChunks de son relevantes para la solicitud del usuario y el grado de clasificación de estos fragmentos (con la información más relevante que aparece antes de la información menos relevante). Devuelve un NumericMetric valor de tipo que contiene una puntuación para "Recuperación". La puntuación es un número comprendido entre 1 y 5, con 1 que indica una puntuación deficiente y 5 que indica una puntuación excelente.
Las puntuaciones de recuperación altas indican que el sistema de inteligencia artificial ha extraído y clasificado correctamente la información más relevante en la parte superior, sin introducir sesgos de conocimientos externos e ignorar la corrección fáctica. Por el contrario, las puntuaciones de recuperación bajas sugieren que el sistema de inteligencia artificial no ha podido exponer los fragmentos de contexto más relevantes en la parte superior de la lista y / o introdujo sesgo e ignoraron la corrección fáctica.
Nota:RetrievalEvaluator es un evaluador basado en inteligencia artificial que usa un modelo de IA para realizar su evaluación. Aunque el aviso que usa este evaluador para realizar su evaluación está diseñado para ser independiente del modelo, el rendimiento de este aviso (y la evaluación resultante) puede variar en función del modelo utilizado y puede ser especialmente deficiente cuando se usa un modelo más pequeño o local.
La solicitud que RetrievalEvaluator usa se ha probado con (y se ha ajustado para funcionar bien) con los siguientes modelos. Por lo tanto, es probable que el uso de este evaluador con un modelo de la lista siguiente genere los mejores resultados. (El modelo que se va a usar se puede configurar a través ChatClientde ).
GPT-4o
Constructores
| Nombre | Description |
|---|---|
| RetrievalEvaluator() |
que IEvaluator evalúa el rendimiento de un sistema de INTELIGENCIA ARTIFICIAL para recuperar información para contexto adicional en respuesta a una solicitud de usuario (por ejemplo, en un escenario de generación aumentada de recuperación (RAG). |
Propiedades
| Nombre | Description |
|---|---|
| EvaluationMetricNames |
Obtiene los Names de los EvaluationMetricgenerados por este IEvaluatorobjeto . |
| RetrievalMetricName |
Obtiene el Name objeto del NumericMetric devuelto por RetrievalEvaluator. |
Métodos
| Nombre | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalúa el proporcionado |
