Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
La valutazione consente di misurare la qualità, la sicurezza e l'affidabilità dei modelli e degli agenti durante lo sviluppo e la produzione. In Microsoft Foundry è possibile valutare gli output esistenti in un set di dati di test, generare risposte da un modello o un agente usando input di test o valutare le tracce di produzione.
Una valutazione esegue uno o più valutatori sui dati o sull'applicazione. I valutatori producono metriche e, quando supportato, spiegazioni che consentono di confrontare le versioni, trovare problemi di qualità e decidere se un'applicazione è pronta per la distribuzione.
Creare un flusso di lavoro di valutazione
La maggior parte dei workflow di valutazione segue questi passaggi:
- Scegliere cosa valutare. Selezionare un singolo turno o una conversazione completa e usare un set di dati esistente, risposte generate, conversazioni simulate o tracce di produzione.
- Selezionare i valutatori. Scegliere le metriche di qualità e sicurezza importanti per l'applicazione, ad esempio il completamento delle attività, la pertinenza, l'aderenza alle fonti, la somiglianza o la sicurezza dei contenuti.
- Eseguire la valutazione. Eseguilo una sola volta durante lo sviluppo, aggiungilo a CI/CD o configura la valutazione ricorrente per la produzione.
- Rivedere e migliorare. Analizzare le metriche di aggregazione e i singoli risultati, confrontare le versioni e affrontare i pattern di errore ricorrenti.
Scegli da dove iniziare
Note
Prima di iniziare, esaminare le autorizzazioni per i flussi di lavoro di valutazione, le aree supportate e i limiti di frequenza e i requisiti della rete virtuale.
Scegliere un approccio di valutazione
Scegliere l'unità di valutazione prima di selezionare i valutatori. La valutazione a livello di turno assegna punteggi alle singole risposte. La valutazione a livello di conversazione assegna punteggi a un'interazione completa a più turni e può misurare i risultati, ad esempio il completamento delle attività in più passaggi. I valutatori supportano specifici livelli di valutazione.
| Voglio | Iniziare da qui |
|---|---|
| Valutare un agente ospitato per la prima volta | Guida introduttiva: Valutare il tuo agente ospitato |
| Valutare i dati di test di query-risposta esistenti | Valutare i set di dati di risposta della query |
| Genera e valuta risposte a partire dagli input di test | Valutare le risposte del modello e dell'agente |
| Valutare le singole interazioni registrate da un modello o da un agente in produzione | Valutare le interazioni pubblicate |
| Valutare un set di dati di conversazioni complete | Valutare i set di dati di conversazione |
| Valutare le conversazioni complete acquisite nelle tracce di produzione | Valutare le conversazioni pubblicate |
| Simula il comportamento dell'agente a più turni prima della distribuzione | Simulare le conversazioni degli agenti |
| Generare scenari e conversazioni senza creare manualmente i dati di test | Generare e valutare conversazioni sintetiche |
| Eseguire test di sicurezza e protezione avversari | Scopri di più sul red teaming di AI |
Scegliere come eseguire valutazioni
| Voglio | Iniziare da qui |
|---|---|
| Esegui una valutazione nel portale Foundry | Eseguire valutazioni dal portale di Microsoft Foundry |
| Eseguire valutazioni tramite codice | Introduzione alla valutazione cloud con Microsoft Foundry SDK |
| Eseguire valutazioni dell'agente dalla riga di comando | Esegui valutazioni degli agenti con l'interfaccia della riga di comando (CLI) di azd |
| Valutare il traffico di produzione su base ricorrente | Monitora gli agenti e configura la valutazione continua |
| Aggiungere valutazioni a una pipeline di distribuzione | Eseguire valutazioni in GitHub Actions o Azure DevOps |
Trovare i componenti necessari
- Valutatori: Iniziare con i valutatori predefiniti o creare un valutatore personalizzato per i propri criteri.
- Dati di valutazione: Informazioni su quando usare un set di dati di valutazione, come generare dati sintetici o come creare un set di dati dalle tracce di produzione.
- Risultati:Esamina i risultati nel portale Foundry, recupera i risultati della valutazione cloud con l'SDK oppure usa l'analisi del cluster per trovare modelli di errore comuni.