RelevanceEvaluator Klasa

Definicja

public ref class RelevanceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

public sealed class RelevanceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

type RelevanceEvaluator = class
    interface IEvaluator

Public NotInheritable Class RelevanceEvaluator
Implements IEvaluator

Dziedziczenie

Object

RelevanceEvaluator

Implementuje

IEvaluator

Uwagi

RelevanceEvaluator mierzy wydajność systemu sztucznej inteligencji w zrozumieniu danych wejściowych i generowaniu kontekstowo odpowiednich odpowiedzi. Zwraca wartość NumericMetric , która zawiera wynik dla wartości "Istotność". Wynik jest liczbą z zakresu od 1 do 5, z 1 wskazującą niską ocenę i 5 wskazującą doskonały wynik.

Wyniki o wysokiej istotności oznaczają zrozumienie danych wejściowych systemu sztucznej inteligencji i jego możliwości tworzenia spójnych i kontekstowych odpowiednich danych wyjściowych. Z drugiej strony niskie wyniki istotności wskazują, że wygenerowane odpowiedzi mogą być poza tematem, brakiem kontekstu lub niewystarczającymi w rozwiązywaniu zamierzonych zapytań użytkownika.

Uwaga:RelevanceEvaluator to ewaluator oparty na sztucznej inteligencji, który używa modelu sztucznej inteligencji do przeprowadzenia oceny. Chociaż monit o wykonanie oceny przez tego ewaluatora jest przeznaczony do niezależnego od modelu, wydajność tego monitu (i wynikowej oceny) może się różnić w zależności od używanego modelu i może być szczególnie niska, gdy jest używany mniejszy/lokalny model.

Monit, który RelevanceEvaluator używa, został przetestowany pod kątem (i dostrojony, aby dobrze pracować) z następującymi modelami. Dlatego użycie tego ewaluatora z modelem z poniższej listy prawdopodobnie przyniesie najlepsze wyniki. (Model, który ma być używany, można skonfigurować za pośrednictwem .ChatClient

GPT-4o