ToolCallAccuracyEvaluator Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Een IEvaluator systeem dat de effectiviteit van een AI-systeem evalueert met behulp van de hulpprogramma's die eraan worden geleverd.
public ref class ToolCallAccuracyEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class ToolCallAccuracyEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type ToolCallAccuracyEvaluator = class
interface IEvaluatortype ToolCallAccuracyEvaluator = class
interface IEvaluatorPublic NotInheritable Class ToolCallAccuracyEvaluator
Implements IEvaluator- Overname
-
ToolCallAccuracyEvaluator
- Kenmerken
- Implementeringen
Opmerkingen
ToolCallAccuracyEvaluator meet hoe nauwkeurig een AI-systeem hulpprogramma's gebruikt door toolaanroepen (dat FunctionCallContentwil gezegd hebbende) te onderzoeken in het opgegeven antwoord om de relevantie van deze hulpprogrammaaanroepen naar het gesprek te beoordelen, de parameter correctheid voor deze toolaanroepen met betrekking tot de hulpprogrammadefinities die via ToolDefinitionsworden verstrekt en de nauwkeurigheid van de extractie van parameterwaarden van het opgegeven gesprek.
Houd er rekening mee dat op dit moment ToolCallAccuracyEvaluator alleen ondersteuning biedt voor het evalueren van aanroepen naar hulpprogramma's die zijn gedefinieerd als AIFunctionDeclarations. Alle andere AITool definities die worden opgegeven via ToolDefinitions , worden genegeerd.
ToolCallAccuracyEvaluator retourneert een BooleanMetric score die een score bevat voor 'Nauwkeurigheid van hulpprogramma-aanroep'. De score is false als de aanroep van het hulpprogramma irrelevant is of informatie bevat die niet aanwezig is in het gesprek en true of de tool-aanroep relevant is met correct geëxtraheerde parameters uit het gesprek.
Opmerking:ToolCallAccuracyEvaluator is een AI-evaluator die gebruikmaakt van een AI-model om de evaluatie uit te voeren. Hoewel de prompt die door deze evaluator wordt gebruikt om de evaluatie uit te voeren, is ontworpen om modelneutraal te zijn, kunnen de prestaties van deze prompt (en de resulterende evaluatie) variëren, afhankelijk van het gebruikte model en vooral slecht zijn wanneer een kleiner/ lokaal model wordt gebruikt.
De prompt die ToolCallAccuracyEvaluator wordt gebruikt, is getest op (en afgestemd om goed te werken met) de volgende modellen. Het gebruik van deze evaluator met een model uit de volgende lijst levert dus waarschijnlijk de beste resultaten op. (Het model dat moet worden gebruikt, kan worden geconfigureerd via ChatClient.)
GPT-4o
Constructors
| Name | Description |
|---|---|
| ToolCallAccuracyEvaluator() |
Een IEvaluator systeem dat de effectiviteit van een AI-systeem evalueert met behulp van de hulpprogramma's die eraan worden geleverd. |
Eigenschappen
| Name | Description |
|---|---|
| EvaluationMetricNames |
Haalt de Names van de EvaluationMetrics geproduceerd door deze IEvaluator. |
| ToolCallAccuracyMetricName |
Haalt de Name geretourneerde BooleanMetric door ToolCallAccuracyEvaluator. |
Methoden
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalueert de opgegeven |
