Agentevaluatoren

AI-agents zijn krachtige productiviteitsassistenten die werkstromen kunnen maken voor zakelijke behoeften. Waarneembaarheid kan echter een uitdaging zijn vanwege hun complexe interactiepatronen. Agent evaluators bieden systematische waarneembaarheid in agentische werkstromen door kwaliteit, veiligheid en prestaties te meten.

Een agentwerkstroom omvat doorgaans redenering via gebruikersintenties, het aanroepen van relevante hulpprogramma's en het gebruik van hulpprogrammaresultaten om taken uit te voeren, zoals het bijwerken van een database of het opstellen van een rapport. Als u productieklare agentische toepassingen wilt bouwen, moet u niet alleen de uiteindelijke uitvoer evalueren, maar ook de kwaliteit en efficiëntie van elke stap in de werkstroom.

Foundry biedt ingebouwde agent evaluators die functioneren als eenheidstests voor agentische systemen: ze nemen agentberichten als invoer- en uitvoer binaire Pass/Fail-scores (of geschaalde scores geconverteerd naar binaire scores op basis van drempelwaarden). Deze evaluators ondersteunen twee aanbevolen procedures voor agentevaluatie:

• Systeemevaluatie: om de end-to-end-resultaten van het agentische systeem te onderzoeken.
• Procesevaluatie: om de stapsgewijze uitvoering te controleren om de resultaten te bereiken.

Systeemevaluatie

Systeemevaluatie onderzoekt de kwaliteit van het uiteindelijke resultaat van uw agentische werkstroom. Deze evaluators zijn van toepassing op afzonderlijke agents en, in systemen met meerdere agents, op de hoofdorchestrator of de uiteindelijke agent die verantwoordelijk is voor het voltooien van de taak:

• Taakvoltooiing : is de aangevraagde taak volledig voltooid door de agent?
• Klanttevredenheid : hoe tevreden zou een gebruiker zijn met de prestaties van de agent?
• Naleving van taken: heeft de agent de regels en beperkingen in de instructies gevolgd?
• Efficiëntie van taaknavigatie: heeft de agent de verwachte stappen efficiënt uitgevoerd?
• Intentieoplossing: heeft de agent de intenties van gebruikers correct geïdentificeerd en aangepakt?

Met name voor tekstuele uitvoer van agents kunt u ook RAG-kwaliteits evaluators toepassen, zoals Relevance en Groundedness die agentische invoer gebruiken om de uiteindelijke antwoordkwaliteit te beoordelen.

Examples:

• Taakvoorbeeld (preview)
• Task-nalevingsvoorbeeld
• Task navigatie-efficiëntievoorbeeld
• Voorbeeld van onbedoelde oplossing

Procesevaluatie

Procesevaluatie onderzoekt de kwaliteit en efficiëntie van elke stap in uw agentische werkstroom. Deze evaluators richten zich op de aanroepen van het hulpprogramma die in een systeem worden uitgevoerd om taken te voltooien:

• Nauwkeurigheid van hulpprogramma-aanroep : heeft de agent de juiste hulpprogramma-aanroepen gedaan met de juiste parameters zonder redundantie?
• Hulpprogrammaselectie : heeft de agent de juiste en benodigde hulpprogramma's geselecteerd?
• Nauwkeurigheid van hulpprogramma-invoer: heeft de agent de juiste parameters voor hulpprogramma-aanroepen opgegeven?
• Uitvoergebruik van hulpprogramma: heeft de agent de aanroep van het hulpprogramma correct gebruikt in de redenering en het uiteindelijke antwoord?
• Geslaagde aanroep van het hulpprogramma - Is de aanroepen van het hulpprogramma geslaagd zonder technische fouten?

Examples:

• Voorbeeld van nauwkeurigheid van aanroeptool
• voorbeeld van Toolselectie
• Voorbeeld van nauwkeurigheid van invoertool
• Voorbeeld uitvoergebruik vantool
• Voorbeeld van geslaagde tool-aanroep

Kwaliteitsevaluatie (preview)

De kwaliteitsevaluatie beoordeelt de algehele kwaliteit van de reactie van een AI-assistent op het turnniveau. De quality grader evaluator is dezelfde kwaliteit evaluator die wordt gebruikt in Microsoft Copilot Studio agent evaluatie. Er worden meerdere dimensies van de antwoordkwaliteit onderzocht:

• Relevantie : is het antwoord relevant voor de query van de gebruiker?
• Onthouding - Onthoudt de agent zich op de juiste wijze wanneer het niet of niet moet antwoorden?
• Volledigheid beantwoorden - Heeft het antwoord de vraag van de gebruiker volledig beantwoord?

Wanneer er context wordt opgegeven, evalueert de kwaliteitscontrole ook het volgende:

• Geaardheid - Is het antwoord geaard in de opgegeven context?
• Contextdekking : maakt het antwoord gebruik van de relevante informatie in de context?

Examples:

• kwaliteitsvoorbeeld

Ondersteuning voor modellen en hulpprogramma's

Voor ai-ondersteunde evaluators kunt u Azure OpenAI- of OpenAI-redenmodellen en niet-redenerende modellen voor de LLM-rechter gebruiken. Voor complexe evaluatie waarvoor verfijnde redenering is vereist, raden we aan om de balans tussen prestaties, kosten en efficiëntie te verdelen gpt-5-mini .

Ondersteunde hulpprogramma's

Agent-evaluators ondersteunen de volgende hulpprogramma's:

• Zoeken naar bestanden
• Functiehulpprogramma (door de gebruiker gedefinieerde hulpprogramma's)
• MCP
• Op kennis gebaseerde MCP

De volgende hulpprogramma's hebben momenteel beperkte ondersteuning. Vermijd het gebruik tool_call_accuracyvan, tool input accuracy, , tool_output_utilizationof tool_call_successgroundedness evaluators als uw agentgesprek oproepen naar deze hulpprogramma's bevat:

• Azure AI Zoeken
• Bing-onderbouwing
• Bing Aangepaste zoekopdrachten
• Basiskennis van SharePoint
• Code-interpreter
• Fabric gegevensagent
• Web Search

Agent-evaluators gebruiken

Agent evaluators beoordelen hoe goed AI-agents taken uitvoeren, instructies volgen en hulpprogramma's effectief gebruiken. Voor elke evaluator zijn specifieke gegevenstoewijzingen en parameters vereist:

Voorbeeldinvoer

Uw testgegevensset moet de velden bevatten waarnaar wordt verwezen in uw gegevenstoewijzingen. Beide velden accepteren eenvoudige tekenreeksen of gespreksmatrices:

{"query": "What's the weather in Seattle?", "response": "The weather in Seattle is rainy, 14°C."}
{"query": "Book a flight to Paris for next Monday", "response": "I've booked your flight to Paris departing next Monday at 9:00 AM."}

Gebruik berichtmatrices voor query en responsevoor complexere interacties met agentoproepen. Deze matrices gebruiken dezelfde OpenAI-berichtstructuur als het voorkeursschema messages . Zie De afzonderlijke indeling voor query's en antwoorden. Het systeembericht is optioneel, maar nuttig voor evaluators die het gedrag van agents beoordelen op basis van instructies, waaronder task_adherence, task_completiontool_call_accuracy, , tool_selection, , tool_input_accuracyen tool_output_utilizationgroundedness:

{
    "query": [
        {"role": "system", "content": "You are a travel booking agent."},
        {"role": "user", "content": "Book a flight to Paris for next Monday"}
    ],
    "response": [
        {"role": "assistant", "content": [{"type": "tool_call", "tool_call_id": "call_123", "name": "search_flights", "arguments": {"destination": "Paris", "date": "next Monday"}}]},
        {"role": "tool", "tool_call_id": "call_123", "content": [{"type": "tool_result", "tool_result": {"flight": "AF123", "time": "9:00 AM"}}]},
        {"role": "assistant", "content": "I've booked flight AF123 to Paris departing next Monday at 9:00 AM."}
    ]
}

Indeling van hulpprogrammadefinities

In tool_definitions het veld worden de hulpprogramma's beschreven die beschikbaar zijn voor de agent. Het bevat een lijst met hulpprogrammaobjecten met een name, descriptionen JSON-schemaobject parameters :

[
  {
    "name": "search_flights",
    "description": "Search for available flights to a destination on a given date.",
    "parameters": {
      "type": "object",
      "properties": {
        "destination": { "type": "string", "description": "The destination city." },
        "date": { "type": "string", "description": "The travel date in YYYY-MM-DD format." }
      },
      "required": ["destination", "date"]
    }
  }
]

Neem deze lijst op als het tool_definitions veld in uw testgegevensset naast query en response.

Voorbeeld van configuratie

Syntaxis van gegevenstoewijzing:

• {{item.field_name}} verwijst naar velden uit uw testgegevensset (bijvoorbeeld {{item.query}}).
• {{sample.output_items}} verwijst naar de gestructureerde uitvoer van de agent, inclusief hulpprogramma-aanroepen en resultaten. Gebruik dit voor evaluators die volledige interactiecontext nodig hebben (task_adherence, tool_call_accuracy, tool_selection, tool_input_accuracy, ). tool_output_utilization
• {{sample.output_text}} verwijst naar het antwoord op tekst zonder opmaak van de agent. Gebruik dit voor evaluators die een tekenreeksantwoord verwachten (bijvoorbeeld coherence, violence).

Hier volgt een voorbeeldconfiguratie voor taakvolging:

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "task_adherence",
        "evaluator_name": "builtin.task_adherence",
        "initialization_parameters": {"deployment_name": model_deployment},
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    },
]

Zie Evaluaties uitvoeren vanuit de SDK voor meer informatie over het uitvoeren van evaluaties en het configureren van gegevensbronnen.

Voorbeelduitvoer

Agent-evaluators retourneren pass-/failresultaten met redenering. Sleuteluitvoervelden:

{
    "type": "azure_ai_evaluator",
    "name": "Task Adherence",
    "metric": "task_adherence",
    "label": "pass",
    "reason": "Agent followed system instructions correctly",
    "threshold": 3,
    "passed": true
}

Voor evaluators die een 1-5-schaal gebruiken voordat drempelwaarden (zoals intent_resolution en tool_call_accuracy) worden bereikt, bevat de uitvoer een numeriek score veld naast het resultaat voor slagen/mislukken:

{
    "type": "azure_ai_evaluator",
    "name": "Intent Resolution",
    "metric": "intent_resolution",
    "label": "pass",
    "score": 4,
    "reason": "Agent correctly identified the user's intent to book a flight to Paris",
    "threshold": 3,
    "passed": true
}

Efficiëntie van taaknavigatie

Efficiëntie van taaknavigatie meet of de agent een optimale reeks acties heeft uitgevoerd door een vergelijking te maken met een verwachte reeks (grondwaar). Gebruik deze evaluator voor werkstroomoptimalisatie en regressietests.

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "evaluator_name": "builtin.task_navigation_efficiency",
    "initialization_parameters": {
        "matching_mode": "exact_match"  # Options: "exact_match", "in_order_match", "any_order_match"
    },
    "data_mapping": {
        "actions": "{{item.actions}}",
        "expected_actions": "{{item.expected_actions}}"
    },
}

Overeenkomende modi:

Indeling van acties:

Het actions veld gebruikt een lijst met berichtobjecten die het OpenAI-berichtschema volgen. Elk bericht vertegenwoordigt een stap die de agent heeft genomen tijdens het gesprek:

actions = [
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_A", "arguments": "{\"param\": \"value\"}"}
        ]
    },
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_B", "arguments": "{}"}
        ]
    },
]

Verwachte indeling van acties:

Dit expected_actions kan een eenvoudige lijst met verwachte stappen zijn:

expected_actions = ["identify_tools_to_call", "call_tool_A", "call_tool_B", "response_synthesis"]

Of een tuple met hulpprogrammanamen en parameters voor gedetailleerdere validatie:

expected_actions = (
    ["func_name1", "func_name2"],
    {
        "func_name1": {"param_key": "param_value"},
        "func_name2": {"param_key": "param_value"},
    }
)

Output:

Retourneert een binair pass/fail resultaat plus precisie, relevante overeenkomsten en F1-scores:

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "passed": true,
    "details": {
        "precision_score": 0.85,
        "recall_score": 1.0,
        "f1_score": 0.92
    }
}

Schema van agentbericht

Agent-evaluators gebruiken berichtmatrices wanneer ze instructies, hulpprogramma-aanroepen en hulpprogrammaresultaten nodig hebben. Zie Berichten met hulpprogramma-aanroepen en afzonderlijke query- en antwoordindeling voor de canonieke berichtstructuur, roldefinities en voorbeeldgegevens.

Verwante inhoud

• Meer voorbeelden voor agentkwaliteits evaluator
• Uw AI-agents evalueren
• Batch-evaluatie uitvoeren
• Agentische RAG optimaliseren