Configurare la valutazione umana per gli agenti (anteprima)

Questo articolo illustra come configurare la valutazione umana per l'agente Foundry. I generatori di agenti definiscono modelli di domanda di valutazione incentrati sugli aspetti di maggiore interesse. Revisori umani, ovvero peer, data scientist o membri del team di conformità, completano questi modelli per ogni risposta dell'agente nell'esperienza di anteprima dell'agente. Dopo che i revisori inviano le valutazioni, è possibile visualizzare e scaricare i risultati direttamente dal portale foundry per ulteriori analisi.

Prerequisiti

• Progetto Foundry con uno o più agenti.

• Application Insights configurato per il tuo progetto.

• Foundry Project Manager ruolo (o superiore) nel progetto Foundry, per creare e gestire modelli di valutazione. Per altre informazioni, vedere Controllo degli accessi in base al ruolo in Microsoft Foundry.

  Importante

  I ruoli di Controllo degli accessi in base al ruolo di Foundry sono stati recentemente rinominati. Foundry User, Foundry Owner, Foundry Account Owner e Foundry Project Manager erano precedentemente denominati Azure AI User, Azure AI Owner, Azure AI Account Owner e Azure AI Project Manager. È possibile che i nomi precedenti vengano visualizzati in alcune posizioni durante l'esecuzione della ridenominazione. Gli ID ruolo e le autorizzazioni di base sono invariati dalla ridenominazione.

• Per i revisori umani: ruolo utente foundry (minimo) nel progetto Foundry e lettore nell'account, per accedere all'app Web di anteprima e inviare commenti e suggerimenti.

Creare un modello di valutazione umana

Per iniziare la valutazione umana per l'agente Foundry, definire un modello contenente il set di domande che si vuole che i revisori umani completino in base alle risposte dell'agente.

1. Selezionare l'agente da valutare dalla tabella dell'agente nella scheda Agenti .

2. Passare alla scheda Valutazione umana in Valutazione.

3. Selezionare Crea nuovo modello per avviare il processo di creazione del modello.

4. Nella finestra popup Create Human Evaluation Template (Crea modello di valutazione umana ) assegnare un nome e una descrizione, modificare o eliminare domande di esempio e aggiungere nuove domande in base agli obiettivi di valutazione. I tipi di domande supportati includono pollici su/giù, dispositivo di scorrimento, selezione multipla e testo in formato libero.

   Suggerimento

   Domande di esempio per tipo:

   • Pollici su/giù: "Questa risposta è stata accurata?"
   • Dispositivo di scorrimento (1-5): "Valuta l'utilità di questa risposta".
   • Scelta multipla: "Quale meglio descrive questa risposta? (Corretto/Parzialmente corretto/Errato)"
   • Testo in formato libero: "Quale contesto aggiuntivo avrebbe migliorato questa risposta?"

5. Dopo aver configurato il modello, selezionare Crea per finalizzare il modello.

Il nuovo modello viene visualizzato nella tabella modello con stato Inattivo . Attivarlo prima che i revisori inizino a valutare.

Gestire i modelli di valutazione

È possibile creare più modelli di valutazione in base alle esigenze di valutazione. La tabella modello consente di modificare, eliminare e impostare modelli come attivi o inattivi.

• Selezionare Modifica nella tabella modello per aggiornare un modello. Il modello viene aperto in un popup modificabile.
• Selezionare Elimina per rimuovere un modello.

  Nota

  Dopo l'eliminazione, non è possibile recuperare il modello e i risultati di valutazione associati dal portale.

• Per impostare un modello come attivo, selezionare Imposta come attivo nella tabella modello. Un solo modello può essere attivo in qualsiasi momento. L'attivazione di un nuovo modello disattiva automaticamente quella precedente. Selezionare Imposta come inattivo per interrompere l'acquisizione dei risultati della valutazione umana per il modello corrente.

Eseguire la valutazione umana

Dopo aver configurato il modello di valutazione e impostato come attivo per l'agente di destinazione, i revisori umani possono avviare la valutazione tramite l'app Web di anteprima. Questa app Web è un'interfaccia di chat basata su browser che viene avviata direttamente dal generatore di agenti.

1. Selezionare Anteprima nell'angolo superiore destro del generatore di agenti per aprire l'agente in un'interfaccia di chat basata su browser.
2. Immettere l'input e selezionare Invia per attivare un'esecuzione dell'agente.
3. Dopo che l'agente risponde, selezionare il pulsante Feedback per fornire la valutazione umana per tale risposta.
   • Viene visualizzato un pannello laterale che visualizza il modello di valutazione attivo.
   • I revisori possono rispondere ad alcune o a tutte le domande nel modulo.
4. Selezionare Salva per archiviare i dati di valutazione o Annulla per eliminarli.
5. Continuare a valutare risposte aggiuntive immettendo un nuovo input o passando alle risposte precedenti.
   • I revisori possono ignorare le valutazioni per determinate risposte o inviare più valutazioni per la stessa risposta.

I generatori di agenti possono visualizzare le valutazioni salvate per ogni risposta dell'agente nella sezione Risultati valutazione .

Esaminare i risultati della valutazione umana

Dopo aver completato le valutazioni dei revisori umani, i generatori di agenti possono visualizzare in anteprima e scaricare i risultati per ulteriori analisi tramite il portale foundry.

1. Passare alla tabella modello all'interno della scheda Valutazione umana e selezionare il modello per cui si vogliono esaminare i risultati.
2. Tutti i risultati di valutazione corrispondenti vengono visualizzati nella sezione Risultati valutazione . Ogni istanza viene visualizzata con il timestamp per riferimento.
3. Selezionare un'istanza di valutazione per visualizzare il riepilogo JSON nella sezione Output JSON . Il codice JSON include:
   • Marca temporale
   • Richiesta dell'utente
   • Risposta dell'agente
   • Domande del modello di valutazione
   • Risposte del revisore
4. Per scaricare tutti i risultati di valutazione per un modello, selezionare Scarica risultati. I risultati vengono esportati come file CSV contenente tutte le informazioni dalla visualizzazione JSON per ogni istanza di valutazione.

Il file CSV scaricato contiene una riga per ogni istanza di valutazione, con colonne per ogni campo dalla visualizzazione JSON.

Contenuto correlato

• Valutare gli agenti di intelligenza artificiale
• Panoramica del monitoraggio dell'agente
• Risolvere i problemi di valutazione e osservabilità