Valutatori di agenti

Gli agenti di intelligenza artificiale sono potenti assistenti alla produttività che possono creare flussi di lavoro per le esigenze aziendali. Tuttavia, l'osservabilità può essere una sfida dovuta ai modelli di interazione complessi. Gli analizzatori di agenti forniscono un'osservabilità sistematica nei flussi di lavoro agenti tramite la misurazione della qualità, della sicurezza e delle prestazioni.

Un flusso di lavoro dell'agente comporta in genere il ragionamento tramite finalità dell'utente, la chiamata di strumenti pertinenti e l'uso dei risultati degli strumenti per completare attività come l'aggiornamento di un database o la stesura di un report. Per creare applicazioni agentic pronte per la produzione, è necessario valutare non solo l'output finale, ma anche la qualità e l'efficienza di ogni passaggio del flusso di lavoro.

Foundry fornisce analizzatori di agenti predefiniti che funzionano come unit test per i sistemi agenti, accettano i messaggi dell'agente come punteggi binari di input e output pass/fail (o punteggi ridimensionati convertiti in punteggi binari in base alle soglie). Questi analizzatori supportano due procedure consigliate per la valutazione dell'agente:

• Valutazione del sistema: per esaminare i risultati end-to-end del sistema agentico.
• Valutazione del processo: per verificare l'esecuzione dettagliata per ottenere i risultati.

Valutazione del sistema

La valutazione del sistema esamina la qualità del risultato finale del flusso di lavoro agentico. Questi analizzatori sono applicabili a singoli agenti e, nei sistemi multi-agente, all'agente di orchestrazione principale o all'agente finale responsabile del completamento dell'attività:

• Completamento attività: l'agente ha completato completamente l'attività richiesta?
• Soddisfazione dei clienti: in che modo un utente sarebbe soddisfatto delle prestazioni dell'agente?
• Conformità alle attività: l'agente ha seguito le regole e i vincoli nelle istruzioni?
• Efficienza navigazione attività: l'agente ha eseguito i passaggi previsti in modo efficiente?
• Risoluzione delle finalità: l'agente identifica correttamente e indirizza le intenzioni dell'utente?

In particolare, per gli output testuali degli agenti, è anche possibile applicare analizzatori di qualità RAG, ad Relevance esempio e Groundedness che accettano input agenti per valutare la qualità finale della risposta.

Esempi:

• Esempio di completamento Task (anteprima)
• esempio di adesione Task
• Esempio di efficienza di navigazione Task
• esempio di risoluzione Intent

Valutazione del processo

La valutazione del processo esamina la qualità e l'efficienza di ogni passaggio del flusso di lavoro agentico. Questi analizzatori si concentrano sulle chiamate degli strumenti eseguite in un sistema per completare le attività:

• Accuratezza chiamata strumento: l'agente ha eseguito le chiamate corrette con parametri corretti senza ridondanza?
• Selezione degli strumenti: l'agente ha selezionato gli strumenti corretti e necessari?
• Accuratezza input strumento: l'agente ha fornito parametri corretti per le chiamate agli strumenti?
• Utilizzo dell'output dello strumento: l'agente ha usato correttamente la chiamata allo strumento per il ragionamento e la risposta finale?
• Operazione riuscita chiamata strumento: le chiamate degli strumenti hanno avuto esito positivo senza errori tecnici?

Esempi:

• esempio di accuratezza delle chiamate Tool
• Esempio di selezione Tool
• esempio di accuratezza dell'input Tool
• Esempio di utilizzo dell'output Tool
• esempio di esito positivo della chiamata Tool

Valutazione della qualità (deprecata)

Quality Grader ha valutato la qualità complessiva della risposta di un assistente di intelligenza artificiale a livello di turno. Ha esaminato più dimensioni della qualità della risposta:

• Pertinenza : la risposta è rilevante per la query dell'utente?
• Astensione - L'agente si astene in modo appropriato quando non può o non deve rispondere?
• Completezza della risposta : la risposta risolve completamente la domanda dell'utente?

Quando è stato fornito il contesto, Quality Grader ha valutato anche:

• Terra: la risposta è messa a terra nel contesto fornito?
• Copertura del contesto : la risposta usa le informazioni pertinenti nel contesto?

Analizzatori compositi (anteprima)

Gli analizzatori compositi misurano diverse dimensioni di qualità in una chiamata di giudice LLM. Usarli per ridurre i costi e la latenza dell'esecuzione separatamente degli analizzatori predefiniti corrispondenti mantenendo un punteggio e il motivo per ogni dimensione di qualità.

Qualità output

L'analizzatore Qualità output (builtin.output_quality) valuta la qualità della risposta di un agente e il suo successo nell'affrontare l'attività dell'utente. Raggruppa gli analizzatori seguenti in una chiamata di giudice LLM:

Strumento Usa qualità

Lo strumento Usa analizzatore qualità (builtin.tool_use_quality) valuta il processo di utilizzo degli strumenti di un agente dalla selezione degli strumenti tramite l'uso del risultato restituito. Raggruppa gli analizzatori seguenti in una chiamata di giudice LLM:

Risultati compositi

Il risultato o tool_use_quality primario output_quality passa solo quando viene superato ogni componente applicabile. Un componente non applicabile viene ignorato e non causa l'esito negativo del risultato primario. Se tutti i componenti vengono ignorati, il risultato principale è not_applicable.

Ogni analizzatore composito restituisce un risultato binario primario e i risultati degli analizzatori dei componenti. Utilizzare il risultato principale per un controllo di qualità rigoroso e usare i risultati del componente per identificare la dimensione di qualità che ha causato un errore.

Ad esempio, un risultato di qualità dell'output ha esito negativo quando fluenza, coerenza, risoluzione delle finalità, adesione alle attività e completamento attività superano ma il livello di base ha esito negativo. Identifica output_quality_reason Groundedness come componente non riuscito e ne spiega il groundedness_reason punteggio.

Configurare analizzatori compositi

Entrambi gli analizzatori compositi supportano la valutazione a livello di turno e a livello di conversazione. La forma di input determina il livello di valutazione per impostazione predefinita:

• Mappare query e response per la valutazione a livello di turno.
• Mappa messages per la valutazione a livello di conversazione.

Impostare il evaluation_level parametro di inizializzazione su turn o conversation per eseguire l'override di questo comportamento.

La configurazione seguente esegue entrambi gli analizzatori compositi a livello di turno. La risposta contiene messaggi agente con chiamate degli strumenti e risultati degli strumenti e le definizioni degli strumenti descrivono gli strumenti disponibili per l'agente.

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "output_quality",
        "evaluator_name": "builtin.output_quality",
        "initialization_parameters": {
            "deployment_name": model_deployment,
            "evaluation_level": "turn",
        },
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
            "tool_definitions": "{{item.tool_definitions}}",
        },
    },
    {
        "type": "azure_ai_evaluator",
        "name": "tool_use_quality",
        "evaluator_name": "builtin.tool_use_quality",
        "initialization_parameters": {
            "deployment_name": model_deployment,
            "evaluation_level": "turn",
        },
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
            "tool_definitions": "{{item.tool_definitions}}",
        },
    },
]

Riferimento: Eseguire valutazioni dall'SDK

Per valutare una conversazione completa, eseguire il mapping della conversazione completa a messages e ometterla evaluation_level o impostarla su conversation:

"initialization_parameters": {
    "deployment_name": model_deployment,
    "evaluation_level": "conversation",
},
"data_mapping": {
    "messages": "{{item.messages}}",
    "tool_definitions": "{{item.tool_definitions}}",
},

Riferimento: Messaggi con chiamate agli strumenti

Supporto di modelli e strumenti

Per gli analizzatori assistito da intelligenza artificiale, è possibile usare Azure OpenAI o OpenAI reasoning models e non ragionamento per il giudice LLM.

Strumenti supportati

Gli analizzatori di agenti supportano gli strumenti seguenti:

• Ricerca file
• Strumento funzione (strumenti definiti dall'utente)
• MCP
• MCP basato sulle informazioni

Gli strumenti seguenti hanno attualmente un supporto limitato. Evitare di usare tool_call_accuracy, tool input accuracytool_output_utilization, tool_call_success, o groundedness analizzatori se la conversazione dell'agente include chiamate a questi strumenti:

• Azure AI Search
• Bing Grounding
• Ricerca personalizzata Bing
• Fondamenti di SharePoint
• Interprete di codice
• agente dati Fabric
• Web Search

Uso degli analizzatori di agenti

Gli analizzatori di agenti valutano il grado di efficienza degli agenti di intelligenza artificiale che eseguono attività, seguono le istruzioni e usano gli strumenti in modo efficace. Ogni analizzatore richiede mapping e parametri di dati specifici:

La valutazione a livello di turno assegna un punteggio a una singola risposta dell'agente; la valutazione a livello di conversazione assegna un punteggio all'interazione completa. Usare evaluation_level per selezionare il livello quando l'analizzatore supporta entrambi. Per la struttura dei messaggi, vedere Messaggi con chiamate agli strumenti.

Input di esempio

Il set di dati di test deve contenere i campi a cui si fa riferimento nei mapping dei dati. Esempi per il formato seguente:

{"query": "What's the weather in Seattle?", "response": "The weather in Seattle is rainy, 14°C."}
{"query": "Book a flight to Paris for next Monday", "response": "I've booked your flight to Paris departing next Monday at 9:00 AM."}
{"messages": [{"role": "user", "content": "Book a flight to Paris."}, {"role": "assistant", "content": "I booked your flight to Paris."}]}

Per interazioni agente più complesse con chiamate di strumenti, usare matrici di messaggi per query e response. Queste matrici usano la stessa struttura dei messaggi OpenAI dello schema preferito messages . Vedere Formato di query e risposta separati. Il messaggio di sistema è facoltativo ma utile per gli analizzatori che valutano il comportamento dell'agente rispetto alle istruzioni, tra cui task_adherence, task_completiontool_call_accuracytool_selectiontool_input_accuracy, tool_output_utilization, e :groundedness

{
    "query": [
        {"role": "system", "content": "You are a travel booking agent."},
        {"role": "user", "content": "Book a flight to Paris for next Monday"}
    ],
    "response": [
        {"role": "assistant", "content": [{"type": "tool_call", "tool_call_id": "call_123", "name": "search_flights", "arguments": {"destination": "Paris", "date": "next Monday"}}]},
        {"role": "tool", "tool_call_id": "call_123", "content": [{"type": "tool_result", "tool_result": {"flight": "AF123", "time": "9:00 AM"}}]},
        {"role": "assistant", "content": "I've booked flight AF123 to Paris departing next Monday at 9:00 AM."}
    ]
}

Formato delle definizioni degli strumenti

Il tool_definitions campo descrive gli strumenti disponibili per l'agente. Contiene un elenco di oggetti strumento con un nameoggetto Schema parameters JSON , descriptione :

[
  {
    "name": "search_flights",
    "description": "Search for available flights to a destination on a given date.",
    "parameters": {
      "type": "object",
      "properties": {
        "destination": { "type": "string", "description": "The destination city." },
        "date": { "type": "string", "description": "The travel date in YYYY-MM-DD format." }
      },
      "required": ["destination", "date"]
    }
  }
]

Includere questo elenco come tool_definitions campo nel set di dati di test insieme a query e response.

Esempio di configurazione

Sintassi del mapping dei dati:

• {{item.field_name}} fa riferimento ai campi del set di dati di test, ad esempio {{item.query}}.
• {{sample.output_items}} fa riferimento all'output strutturato dell'agente, incluse le chiamate e i risultati degli strumenti. Usare questa opzione per gli analizzatori che necessitano di un contesto di interazione completo (task_adherence, tool_call_accuracy, tool_selectiontool_input_accuracy, , tool_output_utilization).
• {{sample.output_text}} fa riferimento alla risposta di testo normale dell'agente. Usare questa opzione per gli analizzatori che prevedono una risposta stringa ( ad esempio , coherence). violence

Di seguito è riportato un esempio di configurazione per l'adesione alle attività:

testing_criteria = [
    {
        "type": "azure_ai_evaluator",
        "name": "task_adherence",
        "evaluator_name": "builtin.task_adherence",
        "initialization_parameters": {"deployment_name": model_deployment},
        "data_mapping": {
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    },
]

Per informazioni dettagliate sull'esecuzione di valutazioni e sulla configurazione delle origini dati, vedere Eseguire valutazioni dall'SDK .

Output di esempio

Gli analizzatori di agenti restituiscono risultati pass/fail con ragionamento. Campi di output chiave:

{
    "type": "azure_ai_evaluator",
    "name": "Task Adherence",
    "metric": "task_adherence",
    "label": "pass",
    "reason": "Agent followed system instructions correctly",
    "threshold": 3,
    "passed": true
}

Per gli analizzatori che usano una scala da 1 a 5 prima della soglia (ad esempio intent_resolution e tool_call_accuracy), l'output include un campo numerico score insieme al risultato di superamento/esito negativo:

{
    "type": "azure_ai_evaluator",
    "name": "Intent Resolution",
    "metric": "intent_resolution",
    "label": "pass",
    "score": 4,
    "reason": "Agent correctly identified the user's intent to book a flight to Paris",
    "threshold": 3,
    "passed": true
}

Efficienza di spostamento delle attività

Efficienza navigazione attività misura se l'agente ha eseguito una sequenza ottimale di azioni confrontando con una sequenza prevista (verità del terreno). Usare questo analizzatore per l'ottimizzazione del flusso di lavoro e i test di regressione.

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "evaluator_name": "builtin.task_navigation_efficiency",
    "initialization_parameters": {
        "matching_mode": "exact_match"  # Options: "exact_match", "in_order_match", "any_order_match"
    },
    "data_mapping": {
        "actions": "{{item.actions}}",
        "expected_actions": "{{item.expected_actions}}"
    },
}

Modalità di corrispondenza:

Formato azioni:

Eseguire il mapping di actions o messages con expected_actions. Il actions campo accetta una stringa o un elenco di oggetti messaggio. Il messages campo accetta l'interazione completa come matrice di oggetti messaggio. Ogni messaggio di azione rappresenta un passaggio che l'agente ha impiegato durante la conversazione:

actions = [
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_A", "arguments": "{\"param\": \"value\"}"}
        ]
    },
    {
        "role": "assistant",
        "content": [
            {"type": "function_call", "name": "call_tool_B", "arguments": "{}"}
        ]
    },
]

Per fornire l'interazione dell'agente come messaggi invece di actions, eseguire il mapping messages e expected_actions:

"data_mapping": {
    "messages": "{{item.messages}}",
    "expected_actions": "{{item.expected_actions}}",
}

Formato delle azioni previste:

expected_actions Può essere un semplice elenco di passaggi previsti:

expected_actions = ["identify_tools_to_call", "call_tool_A", "call_tool_B", "response_synthesis"]

Oppure una tupla con nomi e parametri degli strumenti per una convalida più dettagliata:

expected_actions = (
    ["func_name1", "func_name2"],
    {
        "func_name1": {"param_key": "param_value"},
        "func_name2": {"param_key": "param_value"},
    }
)

Output:

Restituisce un risultato di passaggio/esito negativo binario più precisione, richiamo e punteggi F1:

{
    "type": "azure_ai_evaluator",
    "name": "task_navigation_efficiency",
    "passed": true,
    "details": {
        "precision_score": 0.85,
        "recall_score": 1.0,
        "f1_score": 0.92
    }
}

Schema dei messaggi dell'agente

Gli analizzatori di agenti usano matrici di messaggi quando sono necessarie istruzioni, chiamate agli strumenti e risultati degli strumenti. Per la struttura dei messaggi canonica, le definizioni di ruolo e i dati di esempio, vedere Messaggi con chiamate di strumenti e Formato di query e risposta separate.

Contenuti correlati

• Altre esempi per l'analizzatore di qualità dell'agente
• Valutare gli agenti di intelligenza artificiale
• Come eseguire la valutazione batch
• Come ottimizzare l'agente RAG