Test in batch per i prompt (anteprima)

[Questo argomento fa parte della documentazione di pre-rilascio, pertanto è soggetto a modifiche.]

Le richieste consentono di creare strumenti di intelligenza artificiale generativi personalizzati per l'automazione aziendale e gli agenti. Garantire l'accuratezza, l'affidabilità e l'efficienza di questi strumenti è fondamentale. Il test batch delle richieste è progettato per consentire di convalidare e migliorare le richieste usate negli strumenti di intelligenza artificiale nella piattaforma.

Funzionalità di base dei test in batch

Il test batch offre un approccio sistematico per la convalida di richieste su set di dati diversi. È possibile:

• Caricare o generare set di dati di test per una valutazione completa.
• Definire i criteri di valutazione per giudicare i risultati del test.
• Eseguire test a blocchi per valutare il comportamento del prompt nel set di dati di test.
• Confrontare i risultati nel tempo per garantire un miglioramento continuo.
• Esaminare e modificare le valutazioni automatiche per garantire l'allineamento alle esigenze specifiche.

Un punteggio di accuratezza viene calcolato in base ai risultati dei test, offrendo dati empirici per considerare attendibili gli strumenti di intelligenza artificiale.

Come usare i test batch

Usare la procedura seguente per configurare ed effettuare test batch per i prompt.

Definire i casi di test

1. Accedi a Copilot Studio, Power Apps o Power Automate.

2. Accedere all'elenco dei prompt:

   • In Copilot Studio selezionare Strumenti e quindi filtrare in base alle richieste.
   • In Power Apps e Power Automate selezionare Hub di intelligenza artificiale.

3. Accanto al nome del prompt, seleziona i tre puntini (...).

4. Selezionare Hub di test (anteprima).

   Ecco un esempio della schermata Strumenti in Copilot Studio:

   

   In Copilot Studio l'hub di test è simile allo screenshot seguente:

   

5. Aggiungere i test case usando una delle opzioni disponibili:

   • Caricamento: consente di caricare test case usando un file CSV. Per controllare il formato del file da caricare, selezionare Scarica schema dei dati di test.
   • Generazione di intelligenza artificiale: consente di generare test case usando l'intelligenza artificiale in base alla richiesta.
   • Usa dati attività: consente di recuperare l'attività della richiesta recente per iniziare.
   • Aggiunta manuale: consente di creare test case manualmente.

   Una delle opzioni consente di creare un elenco di test case che è possibile eseguire:

   

Impostare i criteri di valutazione

1. Dopo aver creato i test case, selezionare Configura criteri nella sezione di configurazione a destra:

   Screenshot della configurazione dei criteri di valutazione.

2. Definire il punteggio di passaggio, ovvero il punteggio minimo necessario per passare una risposta.

3. Scegliere uno dei criteri predefiniti seguenti:

   • Qualità della risposta: verifica risposte per chiarezza, utilità e tono
   • Corrispondenze di risposta: verifica le risposte per parole e significati specifici
   • Correttezza JSON: verifica che le risposte seguano lo schema dei dati

   

   Questi criteri e il punteggio di superamento determinano come vengono valutati gli output dei casi di test durante la fase di valutazione.

Eseguire test in batch

1. Nella schermata test case selezionare Esegui tutto per eseguire la valutazione in tutti i test case oppure selezionare i test case da eseguire e selezionare Esegui selezionato.

   

   L'hub di test valuta i risultati rispetto ai criteri definiti, fornendo informazioni dettagliate sulle prestazioni del prompt.

2. Al termine della valutazione dei test case, viene visualizzata la schermata dei risultati:

   

3. Per accedere alle esecuzioni di valutazione precedenti, selezionare il nome del prompt nella parte superiore della schermata in Copilot Studio oppure selezionare Cronologia di esecuzione in Power Apps o Power Automate.

   

4. Per visualizzare i dettagli, selezionare l'esecuzione della valutazione.

La cronologia di esecuzione consente di monitorare e analizzare i risultati dei test nel tempo, tra cui:

• Tenere traccia della progressione del punteggio di accuratezza in più esecuzioni di test.
• Confrontare i risultati di esecuzioni diverse per identificare tendenze o regressioni.
• Accedere ai dettagli sul motivo per cui un determinato risultato del test è stato classificato superato o negativo, offrendo così maggiori dettagli per la diagnosi.

Eseguire l'iterazione nella valutazione dei test case e monitorare eventuali modifiche significative tra le esecuzioni di valutazione.

Informazioni pertinenti

• Domande frequenti sulle richieste e sulle funzionalità di generazione di testo