RetrievalEvaluator Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Een IEvaluator die de prestaties van een AI-systeem evalueert bij het ophalen van informatie voor aanvullende context als reactie op een gebruikersaanvraag (bijvoorbeeld in een RAG-scenario (Ophalen van Augmented Generation).
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Overname
-
RetrievalEvaluator
- Implementeringen
Opmerkingen
RetrievalEvaluator meet de mate waarin de informatie die aanwezig is in de contextsegmenten die worden verstrekt via RetrievedContextChunks , relevant zijn voor de gebruikersaanvraag en hoe goed deze segmenten worden gerangschikt (waarbij de meest relevante informatie wordt weergegeven voordat minder relevante informatie wordt weergegeven). Het retourneert een NumericMetric score die een score bevat voor 'Ophalen'. De score is een getal tussen 1 en 5, waarbij 1 een slechte score aangeeft en 5 een uitstekende score aangeeft.
Hoge ophaalscores geven aan dat het AI-systeem de meest relevante informatie bovenaan heeft geëxtraheerd en gerangschikt, zonder vooroordelen van externe kennis te introduceren en feitelijke juistheid te negeren. Omgekeerd suggereren lage scores voor het ophalen dat het AI-systeem de meest relevante contextsegmenten boven aan de lijst en/of geïntroduceerde vooroordelen en genegeerde feitelijke juistheid niet heeft weergegeven.
Opmerking:RetrievalEvaluator is een AI-evaluator die gebruikmaakt van een AI-model om de evaluatie uit te voeren. Hoewel de prompt die door deze evaluator wordt gebruikt om de evaluatie uit te voeren, is ontworpen om modelneutraal te zijn, kunnen de prestaties van deze prompt (en de resulterende evaluatie) variëren, afhankelijk van het gebruikte model en vooral slecht zijn wanneer een kleiner/ lokaal model wordt gebruikt.
De prompt die RetrievalEvaluator wordt gebruikt, is getest op (en afgestemd om goed te werken met) de volgende modellen. Het gebruik van deze evaluator met een model uit de volgende lijst levert dus waarschijnlijk de beste resultaten op. (Het model dat moet worden gebruikt, kan worden geconfigureerd via ChatClient.)
GPT-4o
Constructors
| Name | Description |
|---|---|
| RetrievalEvaluator() |
Een IEvaluator die de prestaties van een AI-systeem evalueert bij het ophalen van informatie voor aanvullende context als reactie op een gebruikersaanvraag (bijvoorbeeld in een RAG-scenario (Ophalen van Augmented Generation). |
Eigenschappen
| Name | Description |
|---|---|
| EvaluationMetricNames |
Haalt de Names van de EvaluationMetrics geproduceerd door deze IEvaluator. |
| RetrievalMetricName |
Haalt de Name geretourneerde NumericMetric door RetrievalEvaluator. |
Methoden
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalueert de opgegeven |
