RetrievalEvaluator Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Element IEvaluator , który ocenia wydajność systemu sztucznej inteligencji w pobieraniu informacji o dodatkowym kontekście w odpowiedzi na żądanie użytkownika (na przykład w scenariuszu pobierania rozszerzonej generacji (RAG).
public ref class RetrievalEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluatorpublic sealed class RetrievalEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatortype RetrievalEvaluator = class
interface IEvaluatorPublic NotInheritable Class RetrievalEvaluator
Implements IEvaluator- Dziedziczenie
-
RetrievalEvaluator
- Implementuje
Uwagi
RetrievalEvaluator mierzy stopień, w jakim informacje obecne w fragmentach kontekstu dostarczonych za pośrednictwem RetrievedContextChunks są istotne dla żądania użytkownika i jak dobrze są klasyfikowane te fragmenty (z najbardziej odpowiednimi informacjami wyświetlanymi przed mniej istotnymi informacjami). Zwraca wartość NumericMetric , która zawiera wynik dla parametru "Pobieranie". Wynik jest liczbą z zakresu od 1 do 5, z 1 wskazującą niską ocenę i 5 wskazującą doskonały wynik.
Wysokie wyniki pobierania wskazują, że system sztucznej inteligencji pomyślnie wyodrębnił i sklasyfikował najbardziej istotne informacje u góry, bez wprowadzania stronniczości z zewnętrznej wiedzy i ignorowania faktycznej poprawności. Z drugiej strony, niskie wyniki pobierania sugerują, że system sztucznej inteligencji nie może uwidocznieć najbardziej odpowiednich fragmentów kontekstu na początku listy i / lub wprowadził stronniczość i zignorował poprawność faktów.
Uwaga:RetrievalEvaluator to ewaluator oparty na sztucznej inteligencji, który używa modelu sztucznej inteligencji do przeprowadzenia oceny. Chociaż monit o wykonanie oceny przez tego ewaluatora jest przeznaczony do niezależnego od modelu, wydajność tego monitu (i wynikowej oceny) może się różnić w zależności od używanego modelu i może być szczególnie niska, gdy jest używany mniejszy/lokalny model.
Monit, który RetrievalEvaluator używa, został przetestowany pod kątem (i dostrojony, aby dobrze pracować) z następującymi modelami. Dlatego użycie tego ewaluatora z modelem z poniższej listy prawdopodobnie przyniesie najlepsze wyniki. (Model, który ma być używany, można skonfigurować za pośrednictwem .ChatClient
GPT-4o
Konstruktory
| Nazwa | Opis |
|---|---|
| RetrievalEvaluator() |
Element IEvaluator , który ocenia wydajność systemu sztucznej inteligencji w pobieraniu informacji o dodatkowym kontekście w odpowiedzi na żądanie użytkownika (na przykład w scenariuszu pobierania rozszerzonej generacji (RAG). |
Właściwości
| Nazwa | Opis |
|---|---|
| EvaluationMetricNames |
NamePobiera s z s wyprodukowanych EvaluationMetricprzez ten IEvaluatorelement . |
| RetrievalMetricName |
Name Pobiera wartość zwracaną NumericMetric przez RetrievalEvaluator. |
Metody
| Nazwa | Opis |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Oblicza podaną wartość |
