RetrievalEvaluator Klass

Definition

public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

public sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

type RetrievalEvaluator = class
    interface IEvaluator

Public NotInheritable Class RetrievalEvaluator
Implements IEvaluator

Arv

Object

RetrievalEvaluator

Implementeringar

IEvaluator

Kommentarer

RetrievalEvaluator mäter i vilken grad informationen som finns i de kontextsegment som tillhandahålls via RetrievedContextChunks är relevanta för användarbegäran och hur väl dessa segment rangordnas (med den mest relevanta informationen före mindre relevant information). Den returnerar en NumericMetric som innehåller en poäng för "Hämtning". Poängen är ett tal mellan 1 och 5, med 1 som indikerar en dålig poäng och 5 som indikerar en utmärkt poäng.

Höga hämtningspoäng indikerar att AI-systemet har extraherat och rangordnat den mest relevanta informationen högst upp, utan att införa bias från extern kunskap och ignorera faktisk korrekthet. Omvänt tyder låga hämtningspoäng på att AI-systemet har misslyckats med att visa de mest relevanta kontextsegmenten överst i listan och/eller infört bias och ignorerat faktisk korrekthet.

Observera:RetrievalEvaluator är en AI-baserad utvärderare som använder en AI-modell för att utföra utvärderingen. Även om uppmaningen som utvärderaren använder för att utföra utvärderingen är utformad för att vara modellagnostisk, kan prestandan för den här prompten (och den resulterande utvärderingen) variera beroende på vilken modell som används och kan vara särskilt dålig när en mindre/lokal modell används.

Uppmaningen som RetrievalEvaluator använder har testats mot (och finjusterats för att fungera bra med) följande modeller. Så att använda den här utvärderaren med en modell från följande lista kommer sannolikt att ge bästa resultat. (Den modell som ska användas kan konfigureras via ChatClient.)

GPT-4o