Agentutvärderingar

AI-agenter är kraftfulla produktivitetsassistenter som kan skapa arbetsflöden för affärsbehov. Observerbarhet kan dock vara en utmaning på grund av deras komplexa interaktionsmönster. Agentutvärderingar ger systematisk observerbarhet i agentiska arbetsflöden genom att mäta kvalitet, säkerhet och prestanda.

Ett agentarbetsflöde innebär vanligtvis att man resonerar med hjälp av användar avsikter, anropar relevanta verktyg och använder verktygsresultat för att slutföra uppgifter som att uppdatera en databas eller utarbeta en rapport. För att skapa produktionsklara agentiska program måste du utvärdera inte bara de slutliga utdata, utan även kvaliteten och effektiviteten för varje steg i arbetsflödet.

Foundry tillhandahåller inbyggda agentutvärderingar som fungerar som enhetstester för agentiska system – de tar agentmeddelanden som indata- och utdatabinärt Pass/Fail-poäng (eller skalade poäng konverterade till binära poäng baserat på tröskelvärden). Dessa utvärderare stöder två metodtips för agentutvärdering:

• Systemutvärdering – för att undersöka resultatet från slutpunkt till slutpunkt för det agentiska systemet.
• Processutvärdering – för att verifiera den stegvisa körningen för att uppnå resultatet.

Systemutvärdering

Systemutvärderingen undersöker kvaliteten på det slutliga resultatet av ditt agentiska arbetsflöde. Dessa utvärderare gäller för enskilda agenter och, i system med flera agenter, för huvudorkestratorn eller den slutliga agenten som ansvarar för slutförande av uppgifter:

• Slutförd uppgift – slutförde agenten den begärda aktiviteten?
• Kundnöjdhet – Hur nöjd skulle en användare vara med agentens prestanda?
• Uppgiftsefterlevnad – följde agenten reglerna och begränsningarna i sina instruktioner?
• Aktivitetsnavigeringseffektivitet – utförde agenten de förväntade stegen effektivt?
• Avsiktsmatchning – Identifierade och åtgärdade agenten användarens avsikter korrekt?

Mer specifikt för textutdata från agenter kan du även använda RAG-kvalitetsutvärderingar som Relevance och Groundedness som tar agentiska indata för att utvärdera den slutliga svarskvaliteten.

Examples:

• Task completion (förhandsversion) exempel
• Exempel på aktivitetsefterlevnad
• Task-exempel på navigeringseffektivitet
• Intent-lösningsexempel

Processutvärdering

Processutvärderingen undersöker kvaliteten och effektiviteten i varje steg i ditt agentiska arbetsflöde. Dessa utvärderare fokuserar på de verktygsanrop som körs i ett system för att utföra uppgifter:

• Noggrannhet för verktygsanrop – gjorde agenten rätt verktygsanrop med rätt parametrar utan redundans?
• Val av verktyg – Valde agenten rätt och nödvändiga verktyg?
• Precision för indata för verktyg – angav agenten rätt parametrar för verktygsanrop?
• Verktygsutdataanvändning – Har agenten korrekt använt verktygets anrop resulterar i dess resonemang och slutliga svar?
• Lyckat verktygsanrop – lyckades verktygets anrop utan tekniska fel?

Examples:

• Tool-anropsprecisionsexempel
• Tool-urvalsexempel
• Tool-indatanoggrannhetsexempel
• Tool-utdataanvändningsexempel
• Tool anropa lyckat exempel

Kvalitetsutvärdering (förhandsversion)

Kvalitetsutvärderingen utvärderar den övergripande kvaliteten på en AI-assistents svar på turnivå. Utvärderaren för kvalitetsklassare är samma kvalitetsutvärdering som används i Microsoft Copilot Studio agentutvärdering. Den undersöker flera dimensioner av svarskvalitet:

• Relevans – är svaret relevant för användarens fråga?
• Röstnedläggelse – avstår agenten på lämpligt sätt när den inte kan eller inte bör svara?
• Svars fullständighet – tar svaret fullständigt upp användarens fråga?

När kontext tillhandahålls utvärderar kvalitetsklassaren dessutom:

• Groundedness – är svaret grundat i det angivna sammanhanget?
• Kontexttäckning – använder svaret relevant information i kontexten?

Examples:

• Exempel på kvalitetsklassare

Stöd för modell och verktyg

För AI-assisterade utvärderare kan du använda Azure OpenAI- eller OpenAI-reasoningsmodeller och icke-resonemangsmodeller för LLM-domaren. För komplex utvärdering som kräver förfinade resonemang rekommenderar gpt-5-mini vi för dess balans mellan prestanda, kostnad och effektivitet.

Verktyg som stöds

Agentutvärderingar stöder följande verktyg:

• Filsökning
• Funktionsverktyg (användardefinierade verktyg)
• MCP
• Kunskapsbaserad MCP

Följande verktyg har för närvarande begränsat stöd. Undvik att använda tool_call_accuracy, tool input accuracy, tool_output_utilization, tool_call_successeller groundedness utvärderare om agentkonversationen innehåller anrop till dessa verktyg:

• Azure AI-sökning
• Grundläggning i Bing
• Anpassad Bing-sökning
• SharePoint Grundläggning
• Kodtolkare
• Fabric dataagent
• Web Search

Använda agentutvärderingar

Agentutvärderingar utvärderar hur väl AI-agenter utför uppgifter, följer instruktioner och använder verktyg effektivt. Varje utvärderare kräver specifika datamappningar och parametrar:

Exempel på indata

Testdatauppsättningen ska innehålla de fält som refereras till i dina datamappningar. Båda fälten accepterar enkla strängar eller konversationsmatriser:

{"query": "What's the weather in Seattle?", "response": "The weather in Seattle is rainy, 14°C."}
{"query": "Book a flight to Paris for next Monday", "response": "I've booked your flight to Paris departing next Monday at 9:00 AM."}

Om du vill ha mer komplexa agentinteraktioner med verktygsanrop använder du meddelandematriser för query och response. Dessa matriser använder samma OpenAI-meddelandestruktur som önskat messages schema. Se Separat fråge- och svarsformat. Systemmeddelandet är valfritt men användbart för utvärderare som utvärderar agentbeteende mot instruktioner, inklusive task_adherence, task_completion, tool_call_accuracy, tool_selection, tool_input_accuracyoch tool_output_utilizationgroundedness:

{
    "query": [
        {"role": "system", "content": "You are a travel booking agent."},
        {"role": "user", "content": "Book a flight to Paris for next Monday"}
    ],
    "response": [
        {"role": "assistant", "content": [{"type": "tool_call", "tool_call_id": "call_123", "name": "search_flights", "arguments": {"destination": "Paris", "date": "next Monday"}}]},
        {"role": "tool", "tool_call_id": "call_123", "content": [{"type": "tool_result", "tool_result": {"flight": "AF123", "time": "9:00 AM"}}]},
        {"role": "assistant", "content": "I've booked flight AF123 to Paris departing next Monday at 9:00 AM."}
    ]
}

Format för verktygsdefinitioner

Fältet tool_definitions beskriver de verktyg som är tillgängliga för agenten. Den innehåller en lista över verktygsobjekt med ett name, descriptionoch JSON-schemaobjekt parameters :

[
  {
    "name": "search_flights",
    "description": "Search for available flights to a destination on a given date.",
    "parameters": {
      "type": "object",
      "properties": {
        "destination": { "type": "string", "description": "The destination city." },
        "date": { "type": "string", "description": "The travel date in YYYY-MM-DD format." }
      },
      "required": ["destination", "date"]
    }
  }
]

Inkludera den tool_definitions här listan som fält i testdatauppsättningen tillsammans med query och response.

Exempelkonfiguration:

Syntax för datamappning:

• {{item.field_name}} refererar till fält från testdatauppsättningen (till exempel {{item.query}}).
• {{sample.output_items}} refererar till agentens strukturerade utdata, inklusive verktygsanrop och resultat. Använd detta för utvärderare som behöver fullständig interaktionskontext (task_adherence, , tool_call_accuracytool_selection, tool_input_accuracy, tool_output_utilization).
• {{sample.output_text}} refererar till agentens oformaterade textsvar. Använd detta för utvärderare som förväntar sig ett strängsvar (till exempel coherence, violence).

Här är ett exempel på en konfiguration för uppgiftsefterlevnad:

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "task_adherence",
        "evaluator_name": "builtin.task_adherence",
        "initialization_parameters": {"deployment_name": model_deployment},
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    },
]

Mer information om hur du kör utvärderingar och konfiguration av datakällor finns i Köra utvärderingar från SDK :t.

Exempel på utdata

Agentutvärderingar returnerar resultat för pass/fail med resonemang. Nyckelutdatafält:

{
    "type": "azure_ai_evaluator",
    "name": "Task Adherence",
    "metric": "task_adherence",
    "label": "pass",
    "reason": "Agent followed system instructions correctly",
    "threshold": 3,
    "passed": true
}

För utvärderare som använder en 1–5-skala före tröskelvärdet (till exempel intent_resolution och tool_call_accuracy) innehåller utdata ett numeriskt score fält tillsammans med resultatet för pass/fail:

{
    "type": "azure_ai_evaluator",
    "name": "Intent Resolution",
    "metric": "intent_resolution",
    "label": "pass",
    "score": 4,
    "reason": "Agent correctly identified the user's intent to book a flight to Paris",
    "threshold": 3,
    "passed": true
}

Aktivitetsnavigeringseffektivitet

Aktivitetsnavigeringseffektivitet mäter om agenten vidtog en optimal sekvens med åtgärder genom att jämföra med en förväntad sekvens (grundsanning). Använd den här utvärderaren för arbetsflödesoptimering och regressionstestning.

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "evaluator_name": "builtin.task_navigation_efficiency",
    "initialization_parameters": {
        "matching_mode": "exact_match"  # Options: "exact_match", "in_order_match", "any_order_match"
    },
    "data_mapping": {
        "actions": "{{item.actions}}",
        "expected_actions": "{{item.expected_actions}}"
    },
}

Matchningslägen:

Åtgärdsformat:

Fältet actions tar en lista över meddelandeobjekt som följer OpenAI-meddelandeschemat. Varje meddelande representerar ett steg som agenten tog under konversationen:

actions = [
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_A", "arguments": "{\"param\": \"value\"}"}
        ]
    },
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_B", "arguments": "{}"}
        ]
    },
]

Format för förväntade åtgärder:

expected_actions Kan vara en enkel lista över förväntade steg:

expected_actions = ["identify_tools_to_call", "call_tool_A", "call_tool_B", "response_synthesis"]

Eller en tuppeln med verktygsnamn och parametrar för mer detaljerad validering:

expected_actions = (
    ["func_name1", "func_name2"],
    {
        "func_name1": {"param_key": "param_value"},
        "func_name2": {"param_key": "param_value"},
    }
)

Output:

Returnerar ett binärt resultat för pass/fail plus precision, träffsäkerhet och F1-poäng:

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "passed": true,
    "details": {
        "precision_score": 0.85,
        "recall_score": 1.0,
        "f1_score": 0.92
    }
}

Agentmeddelandeschema

Agentutvärderingar använder meddelandematriser när de behöver instruktioner, verktygsanrop och verktygsresultat. Den kanoniska meddelandestrukturen, rolldefinitionerna och exempeldata finns i Meddelanden med verktygsanrop och Separat fråge- och svarsformat.

Relaterat innehåll

• Mer exempel för utvärdering av agentkvalitet
• Utvärdera dina AI-agenter
• Så här kör du batchutvärdering
• Så här optimerar du agentisk RAG