Richieste di valutazione del progetto

La qualità della valutazione dipende dalla qualità dei prompt. I prompt ben progettati testano esattamente ciò che intendi trasmettere, né più né meno.

Questo articolo spiega come progettare prompt di valutazione che producano risultati chiari e fruibili.

Anatomia di un prompt di valutazione efficace

I prompt di valutazione efficaci condividono quattro caratteristiche:

  • Finalità singola
  • Formulazione realistica
  • Fondati sui dati
  • Autonomo

Finalità singola

Ogni richiesta deve testare un obiettivo o una domanda dell'utente. Le richieste multi-finalità rendono difficile identificare la causa di un errore.

Multi-intento (evitare) Finalità singola (scelta preferita)
Qual è il mio saldo PTO e potete ordinarmi un laptop? Qual è il mio saldo PTO?
Parlami dei benefici per la salute e anche della corrispondenza 401k. Quali piani di assicurazione sanitaria sono disponibili?

Per testare più funzionalità insieme, usa le valutazioni delle conversazioni a più turni invece di combinare le finalità in un'unica richiesta.

Formulazione realistica

I prompt devono riflettere il modo in cui gli utenti comunicano effettivamente, compreso il linguaggio informale, le frasi incomplete e i vari livelli di dettaglio.

Eccessivamente formale Realistico
Si prega di fornire informazioni in merito all'assegnazione annuale di ferie retribuite per i dipendenti nel loro primo anno di lavoro. Quanti giorni di ferie hanno i nuovi assunti?
Vorrei avviare una richiesta di approvvigionamento di apparecchiature informatiche. Devo ordinare un portatile.

Puoi ricavare suggerimenti realistici da:

  • Log delle query di produzione
  • Sessioni di ricerca dell'utente
  • Ticket di supporto
  • Conversazioni quotidiane sul posto di lavoro

Fondati sui dati

I prompt devono essere basati sui dati. Quando sono disponibili dati di grounding, usare entità, valori e identificatori specifici. Questo approccio rende le valutazioni misurabili e verificabili.

I prompt fondati consentono asserzioni precise come "La risposta contiene 15 giorni", invece di controlli vaghi come "La risposta contiene il numero corretto".

Senza dati di grounding

Prompt: "Qual è la politica della presa di forza per gli ingegneri?"

Con dati di grounding

Dati di messa a terra:

  • Dipendente: Marcus Johnson
  • Dipartimento: Ingegneria
  • Durata: 8 mesi
  • Direttore: Lisa Park
  • Sede: ufficio di Austin

Prompt: "Sono nel team di progettazione: quanti giorni di ferie ho?"

Autonomo (giro singolo)

Per le valutazioni a turno singolo, ogni richiesta deve includere tutto il contesto richiesto. L'agente non può fare affidamento sui turni di conversazione precedenti. La tabella seguente mostra esempi di prompt autonomi.

Autonomo Dipende dal contesto (evitare)
Cosa copre il piano sanitario PPO? E l'altro piano sanitario?
Qual è il costo per i dipendenti per il piano sanitario PPO? E quanto costa?
Puoi ordinare un MacBook Pro da 16 pollici? Puoi ordinarlo invece?

Per gli scenari che si estendono su più turni, usare le conversazioni a più turni.

Varianti del prompt

Gli utenti non fanno tutti la stessa domanda nello stesso modo. Per testare la generalizzazione, crea tre varianti di ogni prompt.

Prompt canonici

I prompt canonici sono espliciti, completi e non ambigui. Servono come linea di base.

  • Includi tutti i parametri necessari.
  • Usa una terminologia precisa.
  • Evitare ambiguità.
  • Rappresentano una query ideale.

Esempio

"Quanti giorni di ferie retribuite ricevono ogni anno i dipendenti con meno di due anni di mandato secondo l'attuale politica PTO?"

Variante del linguaggio naturale

La variante del linguaggio naturale riflette il fraseggio conversazionale di tutti i giorni. Varianti del linguaggio naturale:

  • Usa un linguaggio informale e colloquiale.
  • Può includere sinonimi o termini informali.
  • Evita gli identificatori tecnici.
  • Rimani abbastanza completo per rispondere.

Esempio

"Ehi, quante ferie ho come nuovo assunto?"

La tabella seguente confronta i prompt canonici e le varianti del linguaggio naturale.

Tecnica Canonico Variante naturale
Sinonimi "Ferie retribuite" "giorni di ferie", "tempo libero", "PTO"
Formulazione informale "Quanti giorni ricevo" "quanto ottengo"
Contesto implicito "Dipendenti con <2 anni di mandato" "Come nuovo assunto"
Involucro casual Uso corretto delle maiuscole Minuscole, punteggiatura minima

Sonda di robustezza

La sonda di robustezza valuta quanto bene l'agente gestisce l'input imperfetto. Sonde di robustezza:

  • Includi errori di battitura realistici.
  • Contengono errori grammaticali.
  • Usare abbreviazioni o abbreviazioni.
  • Testare il riconoscimento dell'intento sotto il rumore.

Esempio: "Qual è il mio diritto ai giorni di Vacaton"

La tabella seguente mostra esempi di modelli da testare.

Schema Esempio
Errori di battitura "vacaton" invece di "vacanza"
Punteggiatura mancante "cosa" invece di "cos'è"
Parole mancanti "Quanti giorni ottenere"
Abbreviazioni "PTO bal?"
Eseguire query "Hai bisogno di un laptop MacBook Pro da 16 pollici"

Esempi completi di varianti di richiesta

Gli esempi seguenti mostrano tutti e tre i tipi di prompt per un singolo scenario.

Scenario: Ordinazione di apparecchiature

Questo scenario include i dati di grounding seguenti:

  • Dipendente: Katrin Pold
  • Dipartimento: Design del prodotto
  • Data di inizio: 2024-01-15
  • Budget dell'attrezzatura: $ 3,500
  • Articoli approvati: MacBook Pro (14 pollici o 16 pollici), monitor esterno, tastiera, mouse

Varianti del prompt

Canonico

"Sono un nuovo dipendente nel reparto Product Design a partire dal 15 gennaio 2024. Devo ordinare un laptop MacBook Pro da 16 pollici. Si prega di inviare questa richiesta di attrezzatura tramite il sistema di ordinazione IT".

Linguaggio naturale

"Ciao, sono appena entrato a far parte del team di progettazione del prodotto e devo configurare il mio laptop. Posso acquistare un MacBook Pro? Preferibilmente, quello da 16 pollici".

Sonda di robustezza

"È necessario ordinare MacBook Pro 16 pollici per un nuovo lavoro nella progettazione del prodotto"

Asserzioni (si applicano a tutte le varianti):

  • La risposta conferma che l'ordine dell'attrezzatura è stato avviato.
  • L'agente ha richiamato lo strumento OrderEquipment .
  • La chiamata dello strumento include "MacBook Pro da 16 pollici" (o equivalente).
  • La risposta include una conferma dell'ordine o un numero di riferimento.

Scenario: domanda sui criteri con personalizzazione

Questo scenario include i dati di grounding seguenti:

  • Dipendente: James Wright
  • Sede: Londra, Regno Unito
  • Durata: 6 mesi
  • Tipo di impiego: Tempo pieno

Varianti del prompt

Canonico

"Come dipendente a tempo pieno con sede nell'ufficio di Londra, nel Regno Unito, con 6 mesi di mandato, a quali giorni festivi ho diritto quest'anno?"

Linguaggio naturale

"Lavoro nell'ufficio di Londra: quali giorni festivi scendo?"

Sonda di robustezza

"Le vacanze in ufficio nel Regno Unito sono libere quest'anno?"

Asserzioni (si applicano a tutte le varianti):

  • La risposta elenca i giorni festivi del Regno Unito (non i giorni festivi degli Stati Uniti).
  • La risposta include almeno: Capodanno, Pasqua, Natale.
  • La risposta fa riferimento alla politica o al programma del Regno Unito.
  • La risposta non menziona le festività statunitensi come il 4 luglio o il Ringraziamento.

Modelli da evitare

Evita i seguenti modelli di prompt.

Richieste multi-finalità

Evita le richieste con più finalità. Quando il prompt copre più finalità, non è possibile determinare quale finalità ha causato l'errore.

  • Evitare: Qual è il mio saldo PTO, puoi parlarmi delle opzioni di assicurazione sanitaria, e potrei aver bisogno anche di un laptop?
  • Usare invece: Dividi in prompt separati o usa la valutazione multithread.

Richieste con riconoscimento dello schema

Evitare le richieste con riconoscimento dello schema. Le richieste con riconoscimento dello schema non funzionano bene perché gli utenti non conoscono le API interne o i nomi degli strumenti.

  • Evitare: "Chiamare l'API GetPTOBalance per l'ID dipendente 12345"
  • Usare invece: "Qual è il mio saldo attuale per le vacanze?"

Richieste vaghe

Evita suggerimenti vaghi. Se il tuo prompt è vago, non puoi definire asserzioni misurabili.

  • Evitare: "Aiutami con le risorse umane"
  • Usare invece: "Ricerca per categorie mi iscrivo al piano di assicurazione dentale?"

Prompt iniziali

I prompt che suggeriscono la risposta attesa non testano la reale efficacia del ragionamento dell'agente.

  • Evitare: "La politica del PTO dice 15 giorni, giusto?"
  • Usare invece: "Quanti giorni di PTO ricevono i nuovi dipendenti?"

Non autonomo (giro singolo)

Evita le richieste che dipendono dal contesto precedente.

  • Evitare: "E l'altra opzione?"
  • Usare invece: "Qual è la differenza tra i piani sanitari HMO e PPO?"

Generare richieste da scenari utente

Inizia con l'intento reale dell'utente invece che con gli elenchi di funzionalità.

  • Raccogliere domande degli utenti rappresentativi.
  • Raggruppare per scenario (ad esempio, ricerca di criteri, azioni, escalation).
  • Scrivi un prompt canonico per ogni scenario.
  • Aggiungere varianti di linguaggio naturale e robustezza.
  • Basa i prompt con dati concreti.

Questo approccio garantisce che le valutazioni riflettano l'utilizzo reale.

Espansione delle richieste assistita dall'intelligenza artificiale (facoltativo)

Dopo aver stabilito una solida linea di base, usa l'intelligenza artificiale per espandere la copertura. Chiedi all'IA di suggerire altre varianti. Esamina ogni suggerimento per realismo e pertinenza. Rifiuta le richieste innaturali, che riconoscono lo schema o che non rientrano nell'ambito. Aggiungi richieste solo dove migliorano la copertura.

Elenco di controllo per la copertura dei prompt

Usa questo elenco di controllo per assicurarti che la copertura del prompt sia completa.

Copertura delle funzionalità

  • Ogni strumento o azione ha almeno un test case
  • Ogni dominio della conoscenza è rappresentato
  • Il comportamento di escalation viene testato
  • Vengono testati gli scenari fuori ambito

Copertura delle varianti

  • Prompt canonico
  • Variante del linguaggio naturale
  • Sonda di robustezza

Casi limite

  • Prompt molto brevi
  • Richieste molto lunghe
  • Richieste ambigue
  • Informazioni mancanti
  • Richieste non valide o non supportate

Personalizzazione (se applicabile)

  • Diverse località degli utenti
  • Diversi livelli di mandato
  • Ruoli o reparti diversi

Passaggio successivo