TaskAdherenceEvaluator Klasa

Definicja

public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
    interface IEvaluator

type TaskAdherenceEvaluator = class
    interface IEvaluator

Public NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator

Dziedziczenie

Object

TaskAdherenceEvaluator

Atrybuty

ExperimentalAttribute

Implementuje

IEvaluator

Uwagi

TaskAdherenceEvaluator mierzy, jak dokładnie system sztucznej inteligencji jest zgodny z przydzielonym zadaniem, sprawdzając dopasowanie dostarczonej odpowiedzi z instrukcjami i definicjami obecnymi w historii konwersacji, dokładnością i jasnością odpowiedzi oraz właściwym użyciem definicji narzędzi dostarczonych za pośrednictwem metody ToolDefinitions.

Należy pamiętać, TaskAdherenceEvaluator że w tej chwili obsługuje tylko ocenianie wywołań do narzędzi zdefiniowanych jako AIFunctionDeclarations. Wszelkie inne AITool definicje podane za pośrednictwem ToolDefinitions zostaną zignorowane.

TaskAdherenceEvaluator Zwraca wartość zawierającą NumericMetric wynik "Przestrzeganie zadania". Wynik jest liczbą z zakresu od 1 do 5, z 1 wskazującą niską ocenę i 5 wskazującą doskonały wynik.

Uwaga:TaskAdherenceEvaluator to ewaluator oparty na sztucznej inteligencji, który używa modelu sztucznej inteligencji do przeprowadzenia oceny. Chociaż monit o wykonanie oceny przez tego ewaluatora jest przeznaczony do niezależnego od modelu, wydajność tego monitu (i wynikowej oceny) może się różnić w zależności od używanego modelu i może być szczególnie niska, gdy jest używany mniejszy/lokalny model.

Monit, który TaskAdherenceEvaluator używa, został przetestowany pod kątem (i dostrojony, aby dobrze pracować) z następującymi modelami. Dlatego użycie tego ewaluatora z modelem z poniższej listy prawdopodobnie przyniesie najlepsze wyniki. (Model, który ma być używany, można skonfigurować za pośrednictwem .ChatClient

GPT-4o