Valutare Agentic Retrieval nel sistema Foundry Local

Valutare il sistema, i modelli e i set di dati all'interno del recupero agentico. Esistono tre tipi di valutazioni: baseline, automatico e manuale.

Importante

Agentic Retrieval in Foundry Local è attualmente in ANTEPRIMA. Vedi le Condizioni supplementari d'uso per le anteprime di Microsoft Azure per conoscere le condizioni legali applicabili alle funzionalità di Azure che sono in beta, in anteprima o non ancora rilasciate nella disponibilità generale.

Prerequisiti

Prima di iniziare:

Esegui il controllo di base

Il controllo di base valuta la funzionalità del sistema RAG per assicurarsi che funzioni come previsto. Esegue le attività seguenti:

  • Crea una struttura di inserimento nel set di dati di documenti.
  • Trae deduzioni mediante la creazione di un set di dati di test che include un insieme di query e di risposte previste.
  • Valuta il sistema in base alle metriche del modello.

Per eseguire un controllo di base:

  1. Passare al portale per sviluppatori usando il nome di dominio fornito in fase di distribuzione e registrazione dell'app. Ad esempio: https://arcrag.contoso.com.

  2. Accedere con le credenziali dello sviluppatore a cui sono assegnati i ruoli "EdgeRAGDeveloper" e "EdgeRAGEndUser".

  3. Selezionare la scheda Valutazione .

    Screenshot che mostra la scheda Valutazione nel portale per sviluppatori, evidenziando le opzioni per l'esecuzione di controlli e la gestione delle valutazioni.

  4. Nella scheda Controllo baseline selezionare Esegui un controllo.

  5. Immettere un nome per la valutazione.

    Screenshot che mostra la scheda Valutazione nel portale per sviluppatori, con opzioni per l'esecuzione di controlli e la gestione delle valutazioni.

  6. Selezionare Esegui.

  7. Esaminare lo stato di valutazione.

  8. Al termine della valutazione, selezionare il nome per visualizzare i risultati.

    Screenshot che mostra i risultati della valutazione, incluse le metriche e l'analisi dettagliata delle prestazioni del sistema RAG.

Eseguire la valutazione automatica

La valutazione automatica valuta la qualità del sistema RAG usando documenti e set di dati personalizzati.

  1. Nel portale per sviluppatori selezionare Valutazione>automatica.

    Screenshot della scheda Valutazione automatica nel portale per sviluppatori con le opzioni per la creazione di valutazioni.

  2. Selezionare Crea una valutazione automatica.

  3. Immettere un nome per la valutazione.

    Screenshot della scheda informazioni di base, con i campi per l'immissione del nome di valutazione e delle opzioni di configurazione.

  4. Esaminare i parametri, ad esempio Temperature, Top-N, Top-P e System prompt. Questi parametri sono derivati dal playground di Chat. Per modificare i parametri, passare alla scheda Chat e modificarli in base alle esigenze.

  5. Seleziona Avanti.

  6. In Set di dati di test selezionare Scarica esempio di set di dati per acquisire familiarità con la struttura necessaria del formato JSONL del set di dati di test.

    Screenshot della scheda del set di dati di test in cui è possibile scaricare un modello e aggiornare il set di dati.

  7. Caricare il file JSONL del set di dati.

  8. Seleziona Avanti.

  9. Selezionare le metriche da valutare per il sistema RAG.

    Screenshot che mostra le metriche disponibili per valutare il sistema.

  10. Seleziona Avanti.

  11. Esaminare le configurazioni e selezionare Crea.

    Screenshot della scheda che riepiloga la configurazione per la valutazione automatica.

  12. Monitorare lo stato di avanzamento e lo stato della valutazione.

    Screenshot che mostra i risultati di una valutazione automatica, incluse le metriche e i dettagli di valutazione.

  13. Al termine della valutazione, esaminare i risultati selezionando il nome della valutazione.

  14. Esaminare i dettagli e le metriche di valutazione.

Contenuti correlati

  • Last updated on