TaskAdherenceEvaluator Klas
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Een IEvaluator systeem dat de effectiviteit van een AI-systeem evalueert bij het naleven van de taak die eraan is toegewezen.
public ref class TaskAdherenceEvaluator sealed : Microsoft::Extensions::AI::Evaluation::IEvaluator[System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")]
public sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluatorpublic sealed class TaskAdherenceEvaluator : Microsoft.Extensions.AI.Evaluation.IEvaluator[<System.Diagnostics.CodeAnalysis.Experimental("AIEVAL001")>]
type TaskAdherenceEvaluator = class
interface IEvaluatortype TaskAdherenceEvaluator = class
interface IEvaluatorPublic NotInheritable Class TaskAdherenceEvaluator
Implements IEvaluator- Overname
-
TaskAdherenceEvaluator
- Kenmerken
- Implementeringen
Opmerkingen
TaskAdherenceEvaluator meet hoe nauwkeurig een AI-systeem voldoet aan de taak die eraan is toegewezen door de uitlijning van het opgegeven antwoord te onderzoeken met instructies en definities die aanwezig zijn in de gespreksgeschiedenis, de nauwkeurigheid en duidelijkheid van het antwoord en het juiste gebruik van hulpprogrammadefinities die via ToolDefinitions.
Houd er rekening mee dat op dit moment TaskAdherenceEvaluator alleen ondersteuning biedt voor het evalueren van aanroepen naar hulpprogramma's die zijn gedefinieerd als AIFunctionDeclarations. Alle andere AITool definities die worden opgegeven via ToolDefinitions , worden genegeerd.
TaskAdherenceEvaluator retourneert een NumericMetric score met een score voor 'Taakvolging'. De score is een getal tussen 1 en 5, waarbij 1 een slechte score aangeeft en 5 een uitstekende score aangeeft.
Opmerking:TaskAdherenceEvaluator is een AI-evaluator die gebruikmaakt van een AI-model om de evaluatie uit te voeren. Hoewel de prompt die door deze evaluator wordt gebruikt om de evaluatie uit te voeren, is ontworpen om modelneutraal te zijn, kunnen de prestaties van deze prompt (en de resulterende evaluatie) variëren, afhankelijk van het gebruikte model en vooral slecht zijn wanneer een kleiner/ lokaal model wordt gebruikt.
De prompt die TaskAdherenceEvaluator wordt gebruikt, is getest op (en afgestemd om goed te werken met) de volgende modellen. Het gebruik van deze evaluator met een model uit de volgende lijst levert dus waarschijnlijk de beste resultaten op. (Het model dat moet worden gebruikt, kan worden geconfigureerd via ChatClient.)
GPT-4o
Constructors
| Name | Description |
|---|---|
| TaskAdherenceEvaluator() |
Een IEvaluator systeem dat de effectiviteit van een AI-systeem evalueert bij het naleven van de taak die eraan is toegewezen. |
Eigenschappen
| Name | Description |
|---|---|
| EvaluationMetricNames |
Haalt de Names van de EvaluationMetrics geproduceerd door deze IEvaluator. |
| TaskAdherenceMetricName |
Haalt de Name geretourneerde NumericMetric door TaskAdherenceEvaluator. |
Methoden
| Name | Description |
|---|---|
| EvaluateAsync(IEnumerable<ChatMessage>, ChatResponse, ChatConfiguration, IEnumerable<EvaluationContext>, CancellationToken) |
Evalueert de opgegeven |
