Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
La qualità della valutazione dipende dalla qualità dei prompt. I prompt ben progettati testano esattamente ciò che intendi trasmettere, né più né meno.
Questo articolo spiega come progettare prompt di valutazione che producano risultati chiari e fruibili.
Anatomia di un prompt di valutazione efficace
I prompt di valutazione efficaci condividono quattro caratteristiche:
- Finalità singola
- Formulazione realistica
- Fondati sui dati
- Autonomo
Finalità singola
Ogni richiesta deve testare un obiettivo o una domanda dell'utente. Le richieste multi-finalità rendono difficile identificare la causa di un errore.
| Multi-intento (evitare) | Finalità singola (scelta preferita) |
|---|---|
| Qual è il mio saldo PTO e potete ordinarmi un laptop? | Qual è il mio saldo PTO? |
| Parlami dei benefici per la salute e anche della corrispondenza 401k. | Quali piani di assicurazione sanitaria sono disponibili? |
Per testare più funzionalità insieme, usa le valutazioni delle conversazioni a più turni invece di combinare le finalità in un'unica richiesta.
Formulazione realistica
I prompt devono riflettere il modo in cui gli utenti comunicano effettivamente, compreso il linguaggio informale, le frasi incomplete e i vari livelli di dettaglio.
| Eccessivamente formale | Realistico |
|---|---|
| Si prega di fornire informazioni in merito all'assegnazione annuale di ferie retribuite per i dipendenti nel loro primo anno di lavoro. | Quanti giorni di ferie hanno i nuovi assunti? |
| Vorrei avviare una richiesta di approvvigionamento di apparecchiature informatiche. | Devo ordinare un portatile. |
Puoi ricavare suggerimenti realistici da:
- Log delle query di produzione
- Sessioni di ricerca dell'utente
- Ticket di supporto
- Conversazioni quotidiane sul posto di lavoro
Fondati sui dati
I prompt devono essere basati sui dati. Quando sono disponibili dati di grounding, usare entità, valori e identificatori specifici. Questo approccio rende le valutazioni misurabili e verificabili.
I prompt fondati consentono asserzioni precise come "La risposta contiene 15 giorni", invece di controlli vaghi come "La risposta contiene il numero corretto".
Senza dati di grounding
Prompt: "Qual è la politica della presa di forza per gli ingegneri?"
Con dati di grounding
Dati di messa a terra:
- Dipendente: Marcus Johnson
- Dipartimento: Ingegneria
- Durata: 8 mesi
- Direttore: Lisa Park
- Sede: ufficio di Austin
Prompt: "Sono nel team di progettazione: quanti giorni di ferie ho?"
Autonomo (giro singolo)
Per le valutazioni a turno singolo, ogni richiesta deve includere tutto il contesto richiesto. L'agente non può fare affidamento sui turni di conversazione precedenti. La tabella seguente mostra esempi di prompt autonomi.
| Autonomo | Dipende dal contesto (evitare) |
|---|---|
| Cosa copre il piano sanitario PPO? | E l'altro piano sanitario? |
| Qual è il costo per i dipendenti per il piano sanitario PPO? | E quanto costa? |
| Puoi ordinare un MacBook Pro da 16 pollici? | Puoi ordinarlo invece? |
Per gli scenari che si estendono su più turni, usare le conversazioni a più turni.
Varianti del prompt
Gli utenti non fanno tutti la stessa domanda nello stesso modo. Per testare la generalizzazione, crea tre varianti di ogni prompt.
Prompt canonici
I prompt canonici sono espliciti, completi e non ambigui. Servono come linea di base.
- Includi tutti i parametri necessari.
- Usa una terminologia precisa.
- Evitare ambiguità.
- Rappresentano una query ideale.
Esempio
"Quanti giorni di ferie retribuite ricevono ogni anno i dipendenti con meno di due anni di mandato secondo l'attuale politica PTO?"
Variante del linguaggio naturale
La variante del linguaggio naturale riflette il fraseggio conversazionale di tutti i giorni. Varianti del linguaggio naturale:
- Usa un linguaggio informale e colloquiale.
- Può includere sinonimi o termini informali.
- Evita gli identificatori tecnici.
- Rimani abbastanza completo per rispondere.
Esempio
"Ehi, quante ferie ho come nuovo assunto?"
La tabella seguente confronta i prompt canonici e le varianti del linguaggio naturale.
| Tecnica | Canonico | Variante naturale |
|---|---|---|
| Sinonimi | "Ferie retribuite" | "giorni di ferie", "tempo libero", "PTO" |
| Formulazione informale | "Quanti giorni ricevo" | "quanto ottengo" |
| Contesto implicito | "Dipendenti con <2 anni di mandato" | "Come nuovo assunto" |
| Involucro casual | Uso corretto delle maiuscole | Minuscole, punteggiatura minima |
Sonda di robustezza
La sonda di robustezza valuta quanto bene l'agente gestisce l'input imperfetto. Sonde di robustezza:
- Includi errori di battitura realistici.
- Contengono errori grammaticali.
- Usare abbreviazioni o abbreviazioni.
- Testare il riconoscimento dell'intento sotto il rumore.
Esempio: "Qual è il mio diritto ai giorni di Vacaton"
La tabella seguente mostra esempi di modelli da testare.
| Schema | Esempio |
|---|---|
| Errori di battitura | "vacaton" invece di "vacanza" |
| Punteggiatura mancante | "cosa" invece di "cos'è" |
| Parole mancanti | "Quanti giorni ottenere" |
| Abbreviazioni | "PTO bal?" |
| Eseguire query | "Hai bisogno di un laptop MacBook Pro da 16 pollici" |
Esempi completi di varianti di richiesta
Gli esempi seguenti mostrano tutti e tre i tipi di prompt per un singolo scenario.
Scenario: Ordinazione di apparecchiature
Questo scenario include i dati di grounding seguenti:
- Dipendente: Katrin Pold
- Dipartimento: Design del prodotto
- Data di inizio: 2024-01-15
- Budget dell'attrezzatura: $ 3,500
- Articoli approvati: MacBook Pro (14 pollici o 16 pollici), monitor esterno, tastiera, mouse
Varianti del prompt
Canonico
"Sono un nuovo dipendente nel reparto Product Design a partire dal 15 gennaio 2024. Devo ordinare un laptop MacBook Pro da 16 pollici. Si prega di inviare questa richiesta di attrezzatura tramite il sistema di ordinazione IT".
Linguaggio naturale
"Ciao, sono appena entrato a far parte del team di progettazione del prodotto e devo configurare il mio laptop. Posso acquistare un MacBook Pro? Preferibilmente, quello da 16 pollici".
Sonda di robustezza
"È necessario ordinare MacBook Pro 16 pollici per un nuovo lavoro nella progettazione del prodotto"
Asserzioni (si applicano a tutte le varianti):
- La risposta conferma che l'ordine dell'attrezzatura è stato avviato.
- L'agente ha richiamato lo strumento OrderEquipment .
- La chiamata dello strumento include "MacBook Pro da 16 pollici" (o equivalente).
- La risposta include una conferma dell'ordine o un numero di riferimento.
Scenario: domanda sui criteri con personalizzazione
Questo scenario include i dati di grounding seguenti:
- Dipendente: James Wright
- Sede: Londra, Regno Unito
- Durata: 6 mesi
- Tipo di impiego: Tempo pieno
Varianti del prompt
Canonico
"Come dipendente a tempo pieno con sede nell'ufficio di Londra, nel Regno Unito, con 6 mesi di mandato, a quali giorni festivi ho diritto quest'anno?"
Linguaggio naturale
"Lavoro nell'ufficio di Londra: quali giorni festivi scendo?"
Sonda di robustezza
"Le vacanze in ufficio nel Regno Unito sono libere quest'anno?"
Asserzioni (si applicano a tutte le varianti):
- La risposta elenca i giorni festivi del Regno Unito (non i giorni festivi degli Stati Uniti).
- La risposta include almeno: Capodanno, Pasqua, Natale.
- La risposta fa riferimento alla politica o al programma del Regno Unito.
- La risposta non menziona le festività statunitensi come il 4 luglio o il Ringraziamento.
Modelli da evitare
Evita i seguenti modelli di prompt.
Richieste multi-finalità
Evita le richieste con più finalità. Quando il prompt copre più finalità, non è possibile determinare quale finalità ha causato l'errore.
- Evitare: Qual è il mio saldo PTO, puoi parlarmi delle opzioni di assicurazione sanitaria, e potrei aver bisogno anche di un laptop?
- Usare invece: Dividi in prompt separati o usa la valutazione multithread.
Richieste con riconoscimento dello schema
Evitare le richieste con riconoscimento dello schema. Le richieste con riconoscimento dello schema non funzionano bene perché gli utenti non conoscono le API interne o i nomi degli strumenti.
- Evitare: "Chiamare l'API GetPTOBalance per l'ID dipendente 12345"
- Usare invece: "Qual è il mio saldo attuale per le vacanze?"
Richieste vaghe
Evita suggerimenti vaghi. Se il tuo prompt è vago, non puoi definire asserzioni misurabili.
- Evitare: "Aiutami con le risorse umane"
- Usare invece: "Ricerca per categorie mi iscrivo al piano di assicurazione dentale?"
Prompt iniziali
I prompt che suggeriscono la risposta attesa non testano la reale efficacia del ragionamento dell'agente.
- Evitare: "La politica del PTO dice 15 giorni, giusto?"
- Usare invece: "Quanti giorni di PTO ricevono i nuovi dipendenti?"
Non autonomo (giro singolo)
Evita le richieste che dipendono dal contesto precedente.
- Evitare: "E l'altra opzione?"
- Usare invece: "Qual è la differenza tra i piani sanitari HMO e PPO?"
Generare richieste da scenari utente
Inizia con l'intento reale dell'utente invece che con gli elenchi di funzionalità.
- Raccogliere domande degli utenti rappresentativi.
- Raggruppare per scenario (ad esempio, ricerca di criteri, azioni, escalation).
- Scrivi un prompt canonico per ogni scenario.
- Aggiungere varianti di linguaggio naturale e robustezza.
- Basa i prompt con dati concreti.
Questo approccio garantisce che le valutazioni riflettano l'utilizzo reale.
Espansione delle richieste assistita dall'intelligenza artificiale (facoltativo)
Dopo aver stabilito una solida linea di base, usa l'intelligenza artificiale per espandere la copertura. Chiedi all'IA di suggerire altre varianti. Esamina ogni suggerimento per realismo e pertinenza. Rifiuta le richieste innaturali, che riconoscono lo schema o che non rientrano nell'ambito. Aggiungi richieste solo dove migliorano la copertura.
Elenco di controllo per la copertura dei prompt
Usa questo elenco di controllo per assicurarti che la copertura del prompt sia completa.
Copertura delle funzionalità
- Ogni strumento o azione ha almeno un test case
- Ogni dominio della conoscenza è rappresentato
- Il comportamento di escalation viene testato
- Vengono testati gli scenari fuori ambito
Copertura delle varianti
- Prompt canonico
- Variante del linguaggio naturale
- Sonda di robustezza
Casi limite
- Prompt molto brevi
- Richieste molto lunghe
- Richieste ambigue
- Informazioni mancanti
- Richieste non valide o non supportate
Personalizzazione (se applicabile)
- Diverse località degli utenti
- Diversi livelli di mandato
- Ruoli o reparti diversi