Agentevaluatoren

AI-agents zijn krachtige productiviteitsassistenten die werkstromen kunnen maken voor zakelijke behoeften. Waarneembaarheid kan echter een uitdaging zijn vanwege hun complexe interactiepatronen. Agent evaluators bieden systematische waarneembaarheid in agentische werkstromen door kwaliteit, veiligheid en prestaties te meten.

Een agentwerkstroom omvat doorgaans redenering via gebruikersintenties, het aanroepen van relevante hulpprogramma's en het gebruik van hulpprogrammaresultaten om taken uit te voeren, zoals het bijwerken van een database of het opstellen van een rapport. Als u productieklare agentische toepassingen wilt bouwen, moet u niet alleen de uiteindelijke uitvoer evalueren, maar ook de kwaliteit en efficiëntie van elke stap in de werkstroom.

Foundry biedt ingebouwde agent evaluators die functioneren als eenheidstests voor agentische systemen: ze nemen agentberichten als invoer- en uitvoer binaire Pass/Fail-scores (of geschaalde scores geconverteerd naar binaire scores op basis van drempelwaarden). Deze evaluators ondersteunen twee aanbevolen procedures voor agentevaluatie:

• Systeemevaluatie: om de end-to-end-resultaten van het agentische systeem te onderzoeken.
• Procesevaluatie: om de stapsgewijze uitvoering te controleren om de resultaten te bereiken.

Systeemevaluatie

Systeemevaluatie onderzoekt de kwaliteit van het uiteindelijke resultaat van uw agentische werkstroom. Deze evaluators zijn van toepassing op afzonderlijke agents en, in systemen met meerdere agents, op de hoofdorchestrator of de uiteindelijke agent die verantwoordelijk is voor het voltooien van de taak:

• Taakvoltooiing : is de aangevraagde taak volledig voltooid door de agent?
• Klanttevredenheid : hoe tevreden zou een gebruiker zijn met de prestaties van de agent?
• Naleving van taken: heeft de agent de regels en beperkingen in de instructies gevolgd?
• Efficiëntie van taaknavigatie: heeft de agent de verwachte stappen efficiënt uitgevoerd?
• Intentieoplossing: heeft de agent de intenties van gebruikers correct geïdentificeerd en aangepakt?

Met name voor tekstuele uitvoer van agents kunt u ook RAG-kwaliteits evaluators toepassen, zoals Relevance en Groundedness die agentische invoer gebruiken om de uiteindelijke antwoordkwaliteit te beoordelen.

Examples:

• Taakvoorbeeld (preview)
• Task-nalevingsvoorbeeld
• Task navigatie-efficiëntievoorbeeld
• Voorbeeld van onbedoelde oplossing

Procesevaluatie

Procesevaluatie onderzoekt de kwaliteit en efficiëntie van elke stap in uw agentische werkstroom. Deze evaluators richten zich op de aanroepen van het hulpprogramma die in een systeem worden uitgevoerd om taken te voltooien:

• Nauwkeurigheid van hulpprogramma-aanroep : heeft de agent de juiste hulpprogramma-aanroepen gedaan met de juiste parameters zonder redundantie?
• Hulpprogrammaselectie : heeft de agent de juiste en benodigde hulpprogramma's geselecteerd?
• Nauwkeurigheid van hulpprogramma-invoer: heeft de agent de juiste parameters voor hulpprogramma-aanroepen opgegeven?
• Uitvoergebruik van hulpprogramma: heeft de agent de aanroep van het hulpprogramma correct gebruikt in de redenering en het uiteindelijke antwoord?
• Geslaagde aanroep van het hulpprogramma - Is de aanroepen van het hulpprogramma geslaagd zonder technische fouten?

Examples:

• Voorbeeld van nauwkeurigheid van aanroeptool
• voorbeeld van Toolselectie
• Voorbeeld van nauwkeurigheid van invoertool
• Voorbeeld uitvoergebruik vantool
• Voorbeeld van geslaagde tool-aanroep

Kwaliteitsevaluatie (afgeschaft)

Quality Grader heeft de algehele kwaliteit van het antwoord van een AI-assistent beoordeeld op het draainiveau. Het onderzocht meerdere dimensies van de responskwaliteit:

• Relevantie : is het antwoord relevant voor de query van de gebruiker?
• Onthouding - Onthoudt de agent zich op de juiste wijze wanneer het niet of niet moet antwoorden?
• Volledigheid beantwoorden - Heeft het antwoord de vraag van de gebruiker volledig beantwoord?

Wanneer er context is opgegeven, evalueert quality grader ook:

• Geaardheid - Is het antwoord geaard in de opgegeven context?
• Contextdekking : maakt het antwoord gebruik van de relevante informatie in de context?

Samengestelde evaluators (preview)

Samengestelde evaluators meten verschillende kwaliteitsdimensies in één LLM-rechteroproep. Gebruik deze om de kosten en latentie van het uitvoeren van de bijbehorende ingebouwde evaluators afzonderlijk te verminderen en tegelijkertijd een score en reden voor elke kwaliteitsdimensie te behouden.

Uitvoerkwaliteit

De uitvoerkwaliteits evaluator (builtin.output_quality) beoordeelt de kwaliteit van het antwoord van een agent en het succes ervan bij het aanpakken van de taak van de gebruiker. Het batcheert de volgende evaluators in één LLM-rechterroep:

Kwaliteit van hulpmiddelgebruik

De tool Use Quality evaluator (builtin.tool_use_quality) evalueert het hulpprogrammagebruiksproces van een agent vanuit de selectie van hulpprogramma's door gebruik te maken van het geretourneerde resultaat. Het batcheert de volgende evaluators in één LLM-rechterroep:

Samengestelde resultaten

Het primaire output_quality of tool_use_quality resultaat wordt alleen doorgegeven wanneer elk van toepassing zijnde onderdelen wordt doorgegeven. Een onderdeel dat niet van toepassing is, wordt overgeslagen en zorgt er niet voor dat het primaire resultaat mislukt. Als alle onderdelen worden overgeslagen, is not_applicablehet primaire resultaat.

Elke samengestelde evaluator retourneert een primair binair resultaat en de resultaten van de bijbehorende component evaluators. Gebruik het primaire resultaat voor een strikte kwaliteitspoort en gebruik de resultaten van het onderdeel om de kwaliteitdimensie te identificeren die een fout heeft veroorzaakt.

Een resultaat van de uitvoerkwaliteit mislukt bijvoorbeeld wanneer fluency, coherentie, intentieoplossing, taakafvolging en voltooiing van de taak worden voltooid, maar de aarding mislukt. De output_quality_reason identificeert Groundedness als het mislukte onderdeel en de groundedness_reason score wordt uitgelegd.

Samengestelde evaluators configureren

Beide samengestelde evaluators ondersteunen evaluatie op turn-level en gespreksniveau. De invoershape bepaalt standaard het evaluatieniveau:

• Kaart query en response voor evaluatie op turn-level.
• Kaart messages voor evaluatie op gespreksniveau.

Stel de evaluation_level initialisatieparameter in op turn of conversation om dit gedrag te overschrijven.

Met de volgende configuratie worden beide samengestelde evaluators op het draainiveau uitgevoerd. Het antwoord bevat agentberichten met hulpprogramma-aanroepen en hulpprogrammaresultaten, en de hulpprogrammadefinities beschrijven de hulpprogramma's die beschikbaar zijn voor de agent.

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "output_quality",
        "evaluator_name": "builtin.output_quality",
        "initialization_parameters": {
            "deployment_name": model_deployment,
            "evaluation_level": "turn",
        },
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
            "tool_definitions": "{{item.tool_definitions}}",
        },
    },
    {
        "type": "azure_ai_evaluator",
        "name": "tool_use_quality",
        "evaluator_name": "builtin.tool_use_quality",
        "initialization_parameters": {
            "deployment_name": model_deployment,
            "evaluation_level": "turn",
        },
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
            "tool_definitions": "{{item.tool_definitions}}",
        },
    },
]

Naslaginformatie: Evaluaties uitvoeren vanuit de SDK

Als u een volledig gesprek wilt evalueren, wijst u het volledige gesprek toe aan messages en laat evaluation_level u dit weg of stelt u het in op conversation:

"initialization_parameters": {
    "deployment_name": model_deployment,
    "evaluation_level": "conversation",
},
"data_mapping": {
    "messages": "{{item.messages}}",
    "tool_definitions": "{{item.tool_definitions}}",
},

Naslaginformatie: Berichten met hulpprogramma-aanroepen

Ondersteuning voor modellen en hulpprogramma's

Voor ai-ondersteunde evaluators kunt u Azure OpenAI- of OpenAI-redenmodellen en niet-redenerende modellen voor de LLM-rechter gebruiken.

Ondersteunde hulpprogramma's

Agent-evaluators ondersteunen de volgende hulpprogramma's:

• Zoeken naar bestanden
• Functiehulpprogramma (door de gebruiker gedefinieerde hulpprogramma's)
• MCP
• Op kennis gebaseerde MCP

De volgende hulpprogramma's hebben momenteel beperkte ondersteuning. Vermijd het gebruik tool_call_accuracyvan, tool input accuracy, , tool_output_utilizationof tool_call_successgroundedness evaluators als uw agentgesprek oproepen naar deze hulpprogramma's bevat:

• Azure AI Zoeken
• Bing-onderbouwing
• Bing Aangepaste zoekopdrachten
• Basiskennis van SharePoint
• Code-interpreter
• Fabric gegevensagent
• Web Search

Agent-evaluators gebruiken

Agent evaluators beoordelen hoe goed AI-agents taken uitvoeren, instructies volgen en hulpprogramma's effectief gebruiken. Voor elke evaluator zijn specifieke gegevenstoewijzingen en parameters vereist:

Evaluatie op turn-level beoordeelt een reactie van een afzonderlijke agent; evaluatie op gespreksniveau beoordeelt de volledige interactie. Gebruik evaluation_level dit om het niveau te selecteren wanneer de evaluator beide ondersteunt. Zie Berichten met hulpprogramma-aanroepen voor de berichtstructuur.

Voorbeeldinvoer

Uw testgegevensset moet de velden bevatten waarnaar wordt verwezen in uw gegevenstoewijzingen. Voorbeelden voor de onderstaande indeling:

{"query": "What's the weather in Seattle?", "response": "The weather in Seattle is rainy, 14°C."}
{"query": "Book a flight to Paris for next Monday", "response": "I've booked your flight to Paris departing next Monday at 9:00 AM."}
{"messages": [{"role": "user", "content": "Book a flight to Paris."}, {"role": "assistant", "content": "I booked your flight to Paris."}]}

Gebruik berichtmatrices voor query en responsevoor complexere interacties met agentoproepen. Deze matrices gebruiken dezelfde OpenAI-berichtstructuur als het voorkeursschema messages . Zie De afzonderlijke indeling voor query's en antwoorden. Het systeembericht is optioneel, maar nuttig voor evaluators die het gedrag van agents beoordelen op basis van instructies, waaronder task_adherence, task_completiontool_call_accuracy, , tool_selection, , tool_input_accuracyen tool_output_utilizationgroundedness:

{
    "query": [
        {"role": "system", "content": "You are a travel booking agent."},
        {"role": "user", "content": "Book a flight to Paris for next Monday"}
    ],
    "response": [
        {"role": "assistant", "content": [{"type": "tool_call", "tool_call_id": "call_123", "name": "search_flights", "arguments": {"destination": "Paris", "date": "next Monday"}}]},
        {"role": "tool", "tool_call_id": "call_123", "content": [{"type": "tool_result", "tool_result": {"flight": "AF123", "time": "9:00 AM"}}]},
        {"role": "assistant", "content": "I've booked flight AF123 to Paris departing next Monday at 9:00 AM."}
    ]
}

Indeling van hulpprogrammadefinities

In tool_definitions het veld worden de hulpprogramma's beschreven die beschikbaar zijn voor de agent. Het bevat een lijst met hulpprogrammaobjecten met een name, descriptionen JSON-schemaobject parameters :

[
  {
    "name": "search_flights",
    "description": "Search for available flights to a destination on a given date.",
    "parameters": {
      "type": "object",
      "properties": {
        "destination": { "type": "string", "description": "The destination city." },
        "date": { "type": "string", "description": "The travel date in YYYY-MM-DD format." }
      },
      "required": ["destination", "date"]
    }
  }
]

Neem deze lijst op als het tool_definitions veld in uw testgegevensset naast query en response.

Voorbeeld van configuratie

Syntaxis van gegevenstoewijzing:

• {{item.field_name}} verwijst naar velden uit uw testgegevensset (bijvoorbeeld {{item.query}}).
• {{sample.output_items}} verwijst naar de gestructureerde uitvoer van de agent, inclusief hulpprogramma-aanroepen en resultaten. Gebruik dit voor evaluators die volledige interactiecontext nodig hebben (task_adherence, tool_call_accuracy, tool_selection, tool_input_accuracy, ). tool_output_utilization
• {{sample.output_text}} verwijst naar het antwoord op tekst zonder opmaak van de agent. Gebruik dit voor evaluators die een tekenreeksantwoord verwachten (bijvoorbeeld coherence, violence).

Hier volgt een voorbeeldconfiguratie voor taakvolging:

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "task_adherence",
        "evaluator_name": "builtin.task_adherence",
        "initialization_parameters": {"deployment_name": model_deployment},
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    },
]

Zie Evaluaties uitvoeren vanuit de SDK voor meer informatie over het uitvoeren van evaluaties en het configureren van gegevensbronnen.

Voorbeelduitvoer

Agent-evaluators retourneren pass-/failresultaten met redenering. Sleuteluitvoervelden:

{
    "type": "azure_ai_evaluator",
    "name": "Task Adherence",
    "metric": "task_adherence",
    "label": "pass",
    "reason": "Agent followed system instructions correctly",
    "threshold": 3,
    "passed": true
}

Voor evaluators die een 1-5-schaal gebruiken voordat drempelwaarden (zoals intent_resolution en tool_call_accuracy) worden bereikt, bevat de uitvoer een numeriek score veld naast het resultaat voor slagen/mislukken:

{
    "type": "azure_ai_evaluator",
    "name": "Intent Resolution",
    "metric": "intent_resolution",
    "label": "pass",
    "score": 4,
    "reason": "Agent correctly identified the user's intent to book a flight to Paris",
    "threshold": 3,
    "passed": true
}

Efficiëntie van taaknavigatie

Efficiëntie van taaknavigatie meet of de agent een optimale reeks acties heeft uitgevoerd door een vergelijking te maken met een verwachte reeks (grondwaar). Gebruik deze evaluator voor werkstroomoptimalisatie en regressietests.

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "evaluator_name": "builtin.task_navigation_efficiency",
    "initialization_parameters": {
        "matching_mode": "exact_match"  # Options: "exact_match", "in_order_match", "any_order_match"
    },
    "data_mapping": {
        "actions": "{{item.actions}}",
        "expected_actions": "{{item.expected_actions}}"
    },
}

Overeenkomende modi:

Indeling van acties:

Kaart of actionsmessages met expected_actions. Het actions veld accepteert een tekenreeks of een lijst met berichtobjecten. Het messages veld accepteert de volledige interactie als een matrix van berichtobjecten. Elk actiebericht vertegenwoordigt een stap die de agent heeft uitgevoerd tijdens het gesprek:

actions = [
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_A", "arguments": "{\"param\": \"value\"}"}
        ]
    },
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_B", "arguments": "{}"}
        ]
    },
]

De interactie van de agent als berichten opgeven in plaats van actions, toewijzen messages en expected_actions:

"data_mapping": {
    "messages": "{{item.messages}}",
    "expected_actions": "{{item.expected_actions}}",
}

Verwachte indeling van acties:

Dit expected_actions kan een eenvoudige lijst met verwachte stappen zijn:

expected_actions = ["identify_tools_to_call", "call_tool_A", "call_tool_B", "response_synthesis"]

Of een tuple met hulpprogrammanamen en parameters voor gedetailleerdere validatie:

expected_actions = (
    ["func_name1", "func_name2"],
    {
        "func_name1": {"param_key": "param_value"},
        "func_name2": {"param_key": "param_value"},
    }
)

Output:

Retourneert een binair pass/fail resultaat plus precisie, relevante overeenkomsten en F1-scores:

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "passed": true,
    "details": {
        "precision_score": 0.85,
        "recall_score": 1.0,
        "f1_score": 0.92
    }
}

Schema van agentbericht

Agent-evaluators gebruiken berichtmatrices wanneer ze instructies, hulpprogramma-aanroepen en hulpprogrammaresultaten nodig hebben. Zie Berichten met hulpprogramma-aanroepen en afzonderlijke query- en antwoordindeling voor de canonieke berichtstructuur, roldefinities en voorbeeldgegevens.

Verwante inhoud

• Meer voorbeelden voor agentkwaliteits evaluator
• Uw AI-agents evalueren
• Batch-evaluatie uitvoeren
• Agentische RAG optimaliseren