ToolCallAccuracyEvaluator Klasa

Definicja

public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator

[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator

[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
    interface IEvaluator

type ToolCallAccuracyEvaluator = class
    interface IEvaluator

Public NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator

Dziedziczenie

Object

ToolCallAccuracyEvaluator

Atrybuty

ExperimentalAttribute

Implementuje

IEvaluator

Uwagi

ToolCallAccuracyEvaluator mierzy, jak dokładnie system sztucznej inteligencji używa narzędzi, sprawdzając wywołania narzędzi (tj. FunctionCallContent) obecne w podanej odpowiedzi w celu oceny istotności tych wywołań narzędzi do konwersacji, poprawności parametrów dla tych wywołań narzędzi w odniesieniu do definicji narzędzi dostarczonych za pośrednictwem ToolDefinitionsmetody i dokładności wyodrębniania wartości parametrów z podanej konwersacji.

Należy pamiętać, ToolCallAccuracyEvaluator że w tej chwili obsługuje tylko ocenianie wywołań do narzędzi zdefiniowanych jako AIFunctionDeclarations. Wszelkie inne AITool definicje podane za pośrednictwem ToolDefinitions zostaną zignorowane.

ToolCallAccuracyEvaluator Zwraca wartość zawierającą BooleanMetric wynik dla wartości "Dokładność wywołań narzędzi". Wynik jest false taki, jeśli wywołanie narzędzia jest nieistotne lub zawiera informacje, które nie są obecne w konwersacji, a true jeśli wywołanie narzędzia jest istotne z poprawnie wyodrębnionych parametrów z konwersacji.

Uwaga:ToolCallAccuracyEvaluator to ewaluator oparty na sztucznej inteligencji, który używa modelu sztucznej inteligencji do przeprowadzenia oceny. Chociaż monit o wykonanie oceny przez tego ewaluatora jest przeznaczony do niezależnego od modelu, wydajność tego monitu (i wynikowej oceny) może się różnić w zależności od używanego modelu i może być szczególnie niska, gdy jest używany mniejszy/lokalny model.

Monit, który ToolCallAccuracyEvaluator używa, został przetestowany pod kątem (i dostrojony, aby dobrze pracować) z następującymi modelami. Dlatego użycie tego ewaluatora z modelem z poniższej listy prawdopodobnie przyniesie najlepsze wyniki. (Model, który ma być używany, można skonfigurować za pośrednictwem .ChatClient

GPT-4o