Agentutvärderingar

AI-agenter är kraftfulla produktivitetsassistenter som kan skapa arbetsflöden för affärsbehov. Observerbarhet kan dock vara en utmaning på grund av deras komplexa interaktionsmönster. Agentutvärderingar ger systematisk observerbarhet i agentiska arbetsflöden genom att mäta kvalitet, säkerhet och prestanda.

Ett agentarbetsflöde innebär vanligtvis att man resonerar med hjälp av användar avsikter, anropar relevanta verktyg och använder verktygsresultat för att slutföra uppgifter som att uppdatera en databas eller utarbeta en rapport. För att skapa produktionsklara agentiska program måste du utvärdera inte bara de slutliga utdata, utan även kvaliteten och effektiviteten för varje steg i arbetsflödet.

Foundry tillhandahåller inbyggda agentutvärderingar som fungerar som enhetstester för agentiska system – de tar agentmeddelanden som indata- och utdatabinärt Pass/Fail-poäng (eller skalade poäng konverterade till binära poäng baserat på tröskelvärden). Dessa utvärderare stöder två metodtips för agentutvärdering:

• Systemutvärdering – för att undersöka resultatet från slutpunkt till slutpunkt för det agentiska systemet.
• Processutvärdering – för att verifiera den stegvisa körningen för att uppnå resultatet.

Systemutvärdering

Systemutvärderingen undersöker kvaliteten på det slutliga resultatet av ditt agentiska arbetsflöde. Dessa utvärderare gäller för enskilda agenter och, i system med flera agenter, för huvudorkestratorn eller den slutliga agenten som ansvarar för slutförande av uppgifter:

• Slutförd uppgift – slutförde agenten den begärda aktiviteten?
• Kundnöjdhet – Hur nöjd skulle en användare vara med agentens prestanda?
• Uppgiftsefterlevnad – följde agenten reglerna och begränsningarna i sina instruktioner?
• Aktivitetsnavigeringseffektivitet – utförde agenten de förväntade stegen effektivt?
• Avsiktsmatchning – Identifierade och åtgärdade agenten användarens avsikter korrekt?

Mer specifikt för textutdata från agenter kan du även använda RAG-kvalitetsutvärderingar som Relevance och Groundedness som tar agentiska indata för att utvärdera den slutliga svarskvaliteten.

Examples:

• Task completion (förhandsversion) exempel
• Exempel på aktivitetsefterlevnad
• Task-exempel på navigeringseffektivitet
• Intent-lösningsexempel

Processutvärdering

Processutvärderingen undersöker kvaliteten och effektiviteten i varje steg i ditt agentiska arbetsflöde. Dessa utvärderare fokuserar på de verktygsanrop som körs i ett system för att utföra uppgifter:

• Noggrannhet för verktygsanrop – gjorde agenten rätt verktygsanrop med rätt parametrar utan redundans?
• Val av verktyg – Valde agenten rätt och nödvändiga verktyg?
• Precision för indata för verktyg – angav agenten rätt parametrar för verktygsanrop?
• Verktygsutdataanvändning – Har agenten korrekt använt verktygets anrop resulterar i dess resonemang och slutliga svar?
• Lyckat verktygsanrop – lyckades verktygets anrop utan tekniska fel?

Examples:

• Tool-anropsprecisionsexempel
• Tool-urvalsexempel
• Tool-indatanoggrannhetsexempel
• Tool-utdataanvändningsexempel
• Tool anropa lyckat exempel

Kvalitetsutvärdering (inaktuell)

Kvalitetsklassare bedömde den övergripande kvaliteten på en AI-assistents svar på turnivå. Den undersökte flera dimensioner av svarskvalitet:

• Relevans – är svaret relevant för användarens fråga?
• Röstnedläggelse – avstår agenten på lämpligt sätt när den inte kan eller inte bör svara?
• Svars fullständighet – tar svaret fullständigt upp användarens fråga?

När kontexten angavs utvärderade kvalitetsklassaren också:

• Groundedness – är svaret grundat i det angivna sammanhanget?
• Kontexttäckning – använder svaret relevant information i kontexten?

Sammansatta utvärderare (förhandsversion)

Sammansatta utvärderare mäter flera kvalitetsdimensioner i ett LLM-domaranrop. Använd dem för att minska kostnaden och svarstiden för att köra motsvarande inbyggda utvärderare separat samtidigt som du behåller en poäng och orsak till varje kvalitetsdimension.

Utdatakvalitet

Utvärderaren för utdatakvalitet (builtin.output_quality) utvärderar kvaliteten på en agent svar och dess framgång med att hantera användarens uppgift. Den batchar följande utvärderare i ett LLM-domaranrop:

Verktygets användningskvalitet

Utvärderaren för verktygsanvändningskvalitet (builtin.tool_use_quality) utvärderar en agent verktygsanvändningsprocess från val av verktyg med hjälp av det returnerade resultatet. Den batchar följande utvärderare i ett LLM-domaranrop:

Sammansatta resultat

Det primära output_quality resultatet eller tool_use_quality resultatet skickas endast när varje tillämplig komponent passerar. En komponent som inte är tillämplig hoppas över och orsakar inte att det primära resultatet misslyckas. Om alla komponenter hoppas över är not_applicabledet primära resultatet .

Varje sammansatt utvärderare returnerar ett primärt binärt resultat och resultatet av dess komponentutvärderingar. Använd det primära resultatet för en strikt kvalitetsgrind och använd komponentresultatet för att identifiera den kvalitetsdimension som orsakade ett fel.

Ett resultat av utdatakvaliteten misslyckas till exempel när fluency, coherence, intent resolution, task adherence och task completion pass but Groundedness fails. output_quality_reason Identifierar Groundedness som den misslyckade komponenten och groundedness_reason förklarar dess poäng.

Konfigurera sammansatta utvärderare

Båda sammansatta utvärderare stöder utvärdering på turnivå och konversationsnivå. Indataformen avgör utvärderingsnivån som standard:

• Mappa query och response för utvärdering på turnivå.
• Karta messages för utvärdering på konversationsnivå.

evaluation_level Ange initieringsparametern till turn eller conversation för att åsidosätta det här beteendet.

Följande konfiguration kör båda sammansatta utvärderarna på turnivå. Svaret innehåller agentmeddelanden med verktygsanrop och verktygsresultat, och verktygsdefinitionerna beskriver de verktyg som är tillgängliga för agenten.

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "output_quality",
        "evaluator_name": "builtin.output_quality",
        "initialization_parameters": {
            "deployment_name": model_deployment,
            "evaluation_level": "turn",
        },
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
            "tool_definitions": "{{item.tool_definitions}}",
        },
    },
    {
        "type": "azure_ai_evaluator",
        "name": "tool_use_quality",
        "evaluator_name": "builtin.tool_use_quality",
        "initialization_parameters": {
            "deployment_name": model_deployment,
            "evaluation_level": "turn",
        },
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
            "tool_definitions": "{{item.tool_definitions}}",
        },
    },
]

Referens: Kör utvärderingar från SDK

Om du vill utvärdera en fullständig konversation mappar du hela konversationen till messages och utelämnar evaluation_level eller ställer in den på conversation:

"initialization_parameters": {
    "deployment_name": model_deployment,
    "evaluation_level": "conversation",
},
"data_mapping": {
    "messages": "{{item.messages}}",
    "tool_definitions": "{{item.tool_definitions}}",
},

Referens: Meddelanden med verktygsanrop

Stöd för modell och verktyg

För AI-assisterade utvärderare kan du använda Azure OpenAI- eller OpenAI-reasoningsmodeller och icke-resonemangsmodeller för LLM-domaren.

Verktyg som stöds

Agentutvärderingar stöder följande verktyg:

• Filsökning
• Funktionsverktyg (användardefinierade verktyg)
• MCP
• Kunskapsbaserad MCP

Följande verktyg har för närvarande begränsat stöd. Undvik att använda tool_call_accuracy, tool input accuracy, tool_output_utilization, tool_call_successeller groundedness utvärderare om agentkonversationen innehåller anrop till dessa verktyg:

• Azure AI-sökning
• Grundläggning i Bing
• Anpassad Bing-sökning
• SharePoint Grundläggning
• Kodtolkare
• Fabric dataagent
• Web Search

Använda agentutvärderingar

Agentutvärderingar utvärderar hur väl AI-agenter utför uppgifter, följer instruktioner och använder verktyg effektivt. Varje utvärderare kräver specifika datamappningar och parametrar:

Utvärdering på turnivå utvärderar ett individuellt agentsvar. utvärdering på konversationsnivå bedömer den fullständiga interaktionen. Använd evaluation_level för att välja nivån när utvärderaren stöder båda. Information om meddelandestrukturen finns i Meddelanden med verktygsanrop.

Exempel på indata

Testdatauppsättningen ska innehålla de fält som refereras till i dina datamappningar. Exempel på formatet nedan:

{"query": "What's the weather in Seattle?", "response": "The weather in Seattle is rainy, 14°C."}
{"query": "Book a flight to Paris for next Monday", "response": "I've booked your flight to Paris departing next Monday at 9:00 AM."}
{"messages": [{"role": "user", "content": "Book a flight to Paris."}, {"role": "assistant", "content": "I booked your flight to Paris."}]}

Om du vill ha mer komplexa agentinteraktioner med verktygsanrop använder du meddelandematriser för query och response. Dessa matriser använder samma OpenAI-meddelandestruktur som önskat messages schema. Se Separat fråge- och svarsformat. Systemmeddelandet är valfritt men användbart för utvärderare som utvärderar agentbeteende mot instruktioner, inklusive task_adherence, task_completion, tool_call_accuracy, tool_selection, tool_input_accuracyoch tool_output_utilizationgroundedness:

{
    "query": [
        {"role": "system", "content": "You are a travel booking agent."},
        {"role": "user", "content": "Book a flight to Paris for next Monday"}
    ],
    "response": [
        {"role": "assistant", "content": [{"type": "tool_call", "tool_call_id": "call_123", "name": "search_flights", "arguments": {"destination": "Paris", "date": "next Monday"}}]},
        {"role": "tool", "tool_call_id": "call_123", "content": [{"type": "tool_result", "tool_result": {"flight": "AF123", "time": "9:00 AM"}}]},
        {"role": "assistant", "content": "I've booked flight AF123 to Paris departing next Monday at 9:00 AM."}
    ]
}

Format för verktygsdefinitioner

Fältet tool_definitions beskriver de verktyg som är tillgängliga för agenten. Den innehåller en lista över verktygsobjekt med ett name, descriptionoch JSON-schemaobjekt parameters :

[
  {
    "name": "search_flights",
    "description": "Search for available flights to a destination on a given date.",
    "parameters": {
      "type": "object",
      "properties": {
        "destination": { "type": "string", "description": "The destination city." },
        "date": { "type": "string", "description": "The travel date in YYYY-MM-DD format." }
      },
      "required": ["destination", "date"]
    }
  }
]

Inkludera den tool_definitions här listan som fält i testdatauppsättningen tillsammans med query och response.

Exempelkonfiguration:

Syntax för datamappning:

• {{item.field_name}} refererar till fält från testdatauppsättningen (till exempel {{item.query}}).
• {{sample.output_items}} refererar till agentens strukturerade utdata, inklusive verktygsanrop och resultat. Använd detta för utvärderare som behöver fullständig interaktionskontext (task_adherence, , tool_call_accuracytool_selection, tool_input_accuracy, tool_output_utilization).
• {{sample.output_text}} refererar till agentens oformaterade textsvar. Använd detta för utvärderare som förväntar sig ett strängsvar (till exempel coherence, violence).

Här är ett exempel på en konfiguration för uppgiftsefterlevnad:

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "task_adherence",
        "evaluator_name": "builtin.task_adherence",
        "initialization_parameters": {"deployment_name": model_deployment},
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    },
]

Mer information om hur du kör utvärderingar och konfiguration av datakällor finns i Köra utvärderingar från SDK :t.

Exempel på utdata

Agentutvärderingar returnerar resultat för pass/fail med resonemang. Nyckelutdatafält:

{
    "type": "azure_ai_evaluator",
    "name": "Task Adherence",
    "metric": "task_adherence",
    "label": "pass",
    "reason": "Agent followed system instructions correctly",
    "threshold": 3,
    "passed": true
}

För utvärderare som använder en 1–5-skala före tröskelvärdet (till exempel intent_resolution och tool_call_accuracy) innehåller utdata ett numeriskt score fält tillsammans med resultatet för pass/fail:

{
    "type": "azure_ai_evaluator",
    "name": "Intent Resolution",
    "metric": "intent_resolution",
    "label": "pass",
    "score": 4,
    "reason": "Agent correctly identified the user's intent to book a flight to Paris",
    "threshold": 3,
    "passed": true
}

Aktivitetsnavigeringseffektivitet

Aktivitetsnavigeringseffektivitet mäter om agenten vidtog en optimal sekvens med åtgärder genom att jämföra med en förväntad sekvens (grundsanning). Använd den här utvärderaren för arbetsflödesoptimering och regressionstestning.

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "evaluator_name": "builtin.task_navigation_efficiency",
    "initialization_parameters": {
        "matching_mode": "exact_match"  # Options: "exact_match", "in_order_match", "any_order_match"
    },
    "data_mapping": {
        "actions": "{{item.actions}}",
        "expected_actions": "{{item.expected_actions}}"
    },
}

Matchningslägen:

Åtgärdsformat:

Mappa antingen actions eller messages med expected_actions. Fältet actions accepterar en sträng eller en lista över meddelandeobjekt. Fältet messages accepterar den fullständiga interaktionen som en matris med meddelandeobjekt. Varje åtgärdsmeddelande representerar ett steg som agenten tog under konversationen:

actions = [
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_A", "arguments": "{\"param\": \"value\"}"}
        ]
    },
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_B", "arguments": "{}"}
        ]
    },
]

Så här anger du agentinteraktionen som meddelanden i stället för actionsmappning messages och expected_actions:

"data_mapping": {
    "messages": "{{item.messages}}",
    "expected_actions": "{{item.expected_actions}}",
}

Format för förväntade åtgärder:

expected_actions Kan vara en enkel lista över förväntade steg:

expected_actions = ["identify_tools_to_call", "call_tool_A", "call_tool_B", "response_synthesis"]

Eller en tuppeln med verktygsnamn och parametrar för mer detaljerad validering:

expected_actions = (
    ["func_name1", "func_name2"],
    {
        "func_name1": {"param_key": "param_value"},
        "func_name2": {"param_key": "param_value"},
    }
)

Output:

Returnerar ett binärt resultat för pass/fail plus precision, träffsäkerhet och F1-poäng:

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "passed": true,
    "details": {
        "precision_score": 0.85,
        "recall_score": 1.0,
        "f1_score": 0.92
    }
}

Agentmeddelandeschema

Agentutvärderingar använder meddelandematriser när de behöver instruktioner, verktygsanrop och verktygsresultat. Den kanoniska meddelandestrukturen, rolldefinitionerna och exempeldata finns i Meddelanden med verktygsanrop och Separat fråge- och svarsformat.

Relaterat innehåll

• Mer exempel för utvärdering av agentkvalitet
• Utvärdera dina AI-agenter
• Så här kör du batchutvärdering
• Så här optimerar du agentisk RAG