Tecniche di progettazione delle richieste

Queste tecniche non sono consigliate per i modelli di ragionamento come i modelli gpt-5 e serie O.

La costruzione di prompt può essere difficile. In pratica, la richiesta agisce per aiutare il modello a completare l'attività desiderata, ma è più di un'arte che una scienza, spesso richiede esperienza e intuizione per creare una richiesta di successo. L'obiettivo di questo articolo è quello di iniziare a usare questo processo di apprendimento. Questo articolo tenta di acquisire concetti e modelli generali applicabili a tutti i modelli GPT. Tuttavia, è importante comprendere che ogni modello si comporta in modo diverso, quindi gli apprendimento potrebbero non essere applicabili ugualmente a tutti i modelli.

Fondamenti

Questa sezione illustra i concetti e gli elementi di base delle richieste GPT.

Le richieste di testo sono il modo in cui gli utenti interagiscono con i modelli GPT. Come per tutti i modelli linguistici generativi, i modelli GPT tentano di produrre la serie successiva di parole che probabilmente seguono dal testo precedente. È come se dicessimo Qual è la prima cosa che ti viene in mente quando dico <prompt>? Gli esempi seguenti illustrano questo comportamento. Data la prima parola del contenuto famoso, il modello è in grado di continuare con precisione il testo.

Man mano che si sviluppano richieste più complesse, è utile tenere presente questo comportamento fondamentale. Indipendentemente dal prompt fornito, il modello risponde semplicemente a ciò che ritiene più probabile, in base ai dati di addestramento e agli obiettivi di addestramento. Se si pone una domanda nel prompt, il modello non segue un percorso di codice "Q&A" separato, ma sembra piuttosto rispondere alla domanda perché una risposta è il tipo di risposta più probabile per la domanda specificata come input.

Componenti del prompt

Quando si usa l'API Completamento e non esiste alcuna differenziazione tra parti diverse del prompt, può comunque essere utile per apprendere e discutere per identificare i componenti del prompt sottostanti. Con l'API Completamento chat, le sezioni distinte del prompt vengono inviate all'API come matrice di dizionari con ruoli associati: sistema, utente e assistente. Questa guida è incentrata più in generale su come considerare la costruzione di richieste anziché fornire indicazioni prescrittive specifiche per un'API rispetto a un'altra.

È inoltre importante comprendere che, anche se potrebbero esserci altri modi validi per sezionare i prompt, l'obiettivo di questa suddivisione è fornire un modo relativamente semplice per pensare alla costruzione dei prompt. Con l'API Completamento, tutti i componenti sono facoltativi, ma almeno uno deve essere presente e la maggior parte delle richieste include più componenti. Tra i componenti può essere presente anche un'area grigia. L'ordine presentato nella sezione seguente corrisponde approssimativamente alla modalità di utilizzo di ogni componente, dalla maggior parte al minimo.

Istruzioni

Le istruzioni sono probabilmente il componente prompt più comunemente usato. Le istruzioni sono semplicemente: istruzioni per il modello su cosa fare. Sebbene sia semplice nel concetto, possono essere complessi in pratica. La tabella seguente illustra questa complessità mostrando istruzioni semplici e più complesse, in due forme diverse.

Contenuto primario

Il contenuto primario fa riferimento al testo elaborato o trasformato dal modello. In genere, si usa il contenuto principale con le istruzioni. Un semplice esempio è la traduzione della lingua. Nell'esempio seguente il testo inglese è il contenuto principale e "Translate to French:" è un'istruzione.

Il contenuto principale può anche essere molto più lungo. Nell'esempio seguente, il contenuto principale è la sezione introduttiva della voce wikipedia sulla complessità del tempo, che è lunga quasi 300 parole. Questo contenuto è abbreviato nella tabella per semplificare la visualizzazione.

I modelli GPT possono anche gestire il contenuto primario strutturato. Nell'esempio seguente, una TSV relativa alle birre in Belgio (abbreviata per la visualizzazione in questo articolo) fa parte del prompt. Il modello può interpretare correttamente il contenuto e rispondere alle domande sui dati.

Esempi

Le richieste corrette spesso si basano sulla pratica dell'apprendimento "one-shot" o "few-shot". Questa procedura prevede l'inclusione di uno o più esempi del comportamento desiderato del modello, in genere includendo coppie di input e output. Questo approccio non costituisce apprendimento nel senso che il modello venga modificato in modo permanente; piuttosto, gli esempi indirizzano meglio il modello a rispondere nel modo desiderato solo per l'inferenza in corso. L'uso di richieste senza esempi viene talvolta definito apprendimento "zero-shot". Si noti che con l'API di completamento chat, in genere si aggiungono esempi di apprendimento "Few-shot" alla matrice messages sotto forma di interazioni utente/assistente di esempio dopo il messaggio di sistema iniziale.

L'esempio precedente illustra l'utilità dell'apprendimento con pochi scatti. Senza gli esempi, il modello sembra indovinare il comportamento desiderato, mentre gli esempi mostrano correttamente il funzionamento del modello. In questo esempio viene inoltre illustrata la potenza del modello. Può dedurre la categoria di etichetta richiesta, anche senza un'etichetta "pallacanestro" negli esempi.

Segnale

I segnali fungono da "jumpstart" per l'output del modello, consentendo di indirizzare il modello all'output desiderato. Spesso si tratta di un prefisso su cui il modello può essere compilato. Nell'esempio seguente, il segnale indirizza la storia in modo da includere elementi chiave. Spesso si usano segnali insieme alle istruzioni, ma non sempre. Negli esempi seguenti viene usato il modello per riepilogare un messaggio di posta elettronica di annuncio lungo. Un segnale viene usato in un caso per concentrarsi sull'output del modello e suggerire un formato di output specifico (punti elenco).

Nel contesto dell'API di completamento chat, le istruzioni assumono la forma di un messaggio di sistema e gli esempi few-shot sono indicati con una serie di interazioni esemplificative tra utente e assistente per preparare il modello.

Contenuto di supporto

Il supporto del contenuto è costituito da informazioni che il modello può usare per influenzare l'output. Differisce dal contenuto principale in quanto non è la destinazione principale dell'attività, ma viene in genere usata insieme al contenuto primario. Esempi comuni includono informazioni contestuali, ad esempio la data corrente, il nome dell'utente, le preferenze utente e così via. L'esempio seguente usa il contenuto di supporto per organizzare un set di workshop pianificati per l'utente. Senza il contenuto di supporto (argomenti importanti), il modello elenca semplicemente i workshop (troncati per la visualizzazione). Quando il modello viene informato dei miei temi importanti, raggruppa accuratamente le riunioni.

Linee guida specifiche per scenario

Le tecniche descritte in questa sezione illustrano le strategie per aumentare l'accuratezza e la base delle risposte generate con un modello linguistico di grandi dimensioni (LLM). Tuttavia, è importante ricordare che anche quando si usa la progettazione prompt in modo efficace, è comunque necessario convalidare le risposte generate dai modelli. Solo perché una richiesta accuratamente creata funzionava bene per uno scenario specifico non significa necessariamente che generalizzerà più su larga scala per determinati casi d'uso. Comprendere le limitazioni degli LLM è importante tanto quanto capire come sfruttarne i punti di forza.

Questa guida non illustra in modo approfondito i meccanismi alla base della struttura dei messaggi per i completamenti della chat. Se non si ha familiarità con l'interazione con i modelli di completamento chat a livello di codice, è consigliabile leggere prima la guida pratica sull'API completamento chat.

Apprendimento a pochi esempi

Un modo comune per adattare i modelli linguistici alle nuove attività consiste nell'usare l'apprendimento con pochi scatti. Nell'apprendimento few-shot viene fornito un set di esempi di training come parte del prompt per fornire contesto aggiuntivo al modello.

Quando si usa l'API Completamento chat, una serie di messaggi tra l'utente e l'assistente (scritti nel nuovo formato di prompt), possono fungere da esempi per l'apprendimento few-shot. Questi esempi possono essere usati per istruire il modello per rispondere in un certo modo, emulare comportamenti specifici e inserire risposte iniziali alle domande comuni.

La tabella precedente descrive la struttura di richiesta di base, ma per una spiegazione dettagliata del formato esatto della richiesta è necessario fare riferimento alla guida completamento chat.

Scenari non di chat

Anche se l'API completamento chat è ottimizzata per lavorare con conversazioni a più turni, può essere usata anche per scenari non di chat. Ad esempio, per uno scenario di analisi del sentiment, è possibile usare il prompt seguente:

Iniziare con istruzioni chiare

Le informazioni della sequenza vengono visualizzate nella materia del prompt. Ciò è dovuto al fatto che i modelli di stile GPT vengono compilati in un determinato modo che definisce il modo in cui elaborano l'input. La ricerca suggerisce che indicare al modello l'attività che si vuole eseguire all'inizio della richiesta, prima di condividere informazioni contestuali aggiuntive o esempi, può contribuire a produrre output di qualità superiore.

Ripetere le istruzioni alla fine

I modelli possono essere soggetti a distorsioni di recency, che in questo contesto indicano che le informazioni alla fine della richiesta potrebbero avere un'influenza più significativa sull'output rispetto alle informazioni all'inizio della richiesta. Pertanto, vale la pena provare a ripetere le istruzioni alla fine della richiesta e valutare l'impatto sulla risposta generata.

Approntare l'output

Questo si riferisce all'inclusione di alcune parole o frasi alla fine del prompt per ottenere una risposta del modello che segue il modulo desiderato. Ad esempio, l'uso di un segnale come “Here’s a bulleted list of key points:\n- ” può essere utile per assicurarsi che l'output sia formattato come elenco puntato.

Nel prompt precedente, il testo Una possibile query di ricerca è: prepara il modello per produrre un singolo output. Senza questo segnale il modello produce diverse query di ricerca come output.

Aggiungere una sintassi chiara

Usare una sintassi chiara per il prompt per comunicare la finalità e semplificare l'analisi degli output.

Nell'esempio seguente sono stati aggiunti separatori (--- in questo caso) tra origini diverse di informazioni o passaggi. Ciò consente l'uso di --- come condizione di arresto per la generazione. Inoltre, le intestazioni di sezione o le variabili speciali vengono presentate in lettere maiuscole per distinguerle.

Se non si è certi della sintassi da usare, è consigliabile usare Markdown o XML. I modelli sono stati sottoposti a training su una grande quantità di contenuto Web in XML e Markdown, che potrebbe offrire risultati migliori.

Suddividere il compito in parti più piccole

I modelli di linguaggio di grandi dimensioni spesso offrono prestazioni migliori se l'attività è suddivisa in passaggi più piccoli. Ad esempio, nella richiesta di query di ricerca a cui si fa riferimento in precedenza, il prompt può essere ristrutturato in modo che il modello venga prima richiesto di estrarre i fatti rilevanti e quindi di generare query di ricerca che possono essere usate per verificare tali fatti.

Si noti l'uso di una sintassi chiara per distinguere le sezioni e preparare l'output. In questo semplice esempio, suddividere l'attività da uno a due passaggi non è molto drammatica, ma quando si tenta di eseguire questa operazione per una parte più grande di testo con molte affermazioni effettive, l'interruzione dell'attività può fare una differenza significativa.

Uso degli inviti

A volte possiamo fare in modo che il modello utilizzi un affordance invece di fare affidamento sui propri parametri per ottenere informazioni e risposte. La ricerca, ad esempio, può fungere da supporto per mitigare le risposte fabbricate e ottenere informazioni aggiornate.

Un modo semplice per utilizzare un'affordance consiste nell'interrompere la generazione una volta che le chiamate di affordance vengono generate dal modello, quindi reinserire i risultati nel prompt. Di seguito è riportato un esempio di ciò che la chiamata di completamento potrebbe essere dopo aver eseguito le chiamate SEARCH precedenti. Si noti come i risultati della ricerca sono stati incollati nel prompt e sostituiti le chiamate SEARCH precedenti.

Catena di richieste di pensiero

Si tratta di una variante della tecnica di interruzione dell'attività . Invece di suddividere un'attività in passaggi più piccoli, in questo approccio, la risposta del modello viene indicata per procedere passo passo e presentare tutti i passaggi coinvolti. In questo modo si riduce la possibilità di imprecisione dei risultati e semplifica la valutazione della risposta del modello.

Specifica della struttura di output

L'uso del prompt per specificare la struttura dell'output può avere un effetto significativo sulla natura e sulla qualità dei risultati. A volte gli input dei messaggi di sistema come "scrivono solo fatti veri" o "non fabbricano informazioni" potrebbero non essere misure di mitigazione adeguate. Chiedere invece la risposta del modello per includere anche citazioni può contribuire a ridurre la prevalenza delle risposte errate.

Se si istruisce il modello di citare il materiale di origine quando fa delle affermazioni, tali affermazioni sono molto più verificate. La richiesta di citazioni lo rende in modo che il modello debba fare due errori ogni volta che genera una risposta: il primo errore è la risposta creata e il secondo è la citazione errata. Si noti che più la citazione è vicina al testo che supporta, meno il modello deve anticipare la citazione, il che suggerisce che le citazioni in linea sono una migliore mitigazione per la generazione di contenuti falsi rispetto alle citazioni poste alla fine del contenuto.

Analogamente, se si chiede al modello di estrarre istruzioni effettive da un paragrafo, è possibile estrarre istruzioni composte, ad esempio "X sta facendo Y AND Z" (che può essere più difficile da verificare). Questa operazione può essere evitata specificando una struttura di output, ad esempio (entity1, relationship, entity2).

In questo esempio viene illustrato l'uso di citazioni e la risposta del modello per adattarsi a una struttura definita.

I parametri di temperatura e di Top_p

La modifica del parametro temperature modifica l'output del modello. Il parametro temperature può essere impostato tra 0 e 2. Un valore superiore, ad esempio 0,7 rende l'output più casuale e produce risposte più divergenti, mentre un valore inferiore, ad esempio. 0.2, rende l'output più mirato e concreto. Una storia fittizia potrebbe essere generata usando una temperatura più elevata. Mentre per generare un documento legale è consigliabile usare una temperatura molto inferiore. Top_probability è un altro parametro ed è simile a Temperature in quanto controlla anche la casualità della risposta del modello, ma lo fa in modo diverso. La raccomandazione generale consiste nel modificare uno di questi due parametri alla volta, non entrambi.

Fornire il contesto di base

Uno dei modi più efficaci per fornire risposte affidabili consiste nel fornire al modello dati da cui trarre le sue risposte (dati di riferimento). Se il caso d'uso si basa su informazioni aggiornate e affidabili e non è puramente uno scenario creativo, raccomandiamo fortemente di fornire dati concreti. In generale, più vicino è possibile ottenere il materiale di origine alla forma finale della risposta desiderata, minore è il lavoro necessario per il modello, il che significa che c'è meno opportunità di errore. Ecco un esempio in cui viene fornito al sistema un blog che descrive il lancio di GPT-4 in Azure OpenAI in Microsoft Foundry Models e gli viene chiesto di assegnare un nome ad alcuni dei suoi primi clienti.

¹ Testo dal blog di lancio di OpenAI GPT-4 su Azure.

Procedure consigliate

• Essere specifici. Lascia il meno possibile all'interpretazione. Limitare lo spazio operativo.
• Sii descrittivo. Usare analogie.
• Ribadire. A volte potresti dover ripetere quello che hai detto al modello. Fornire istruzioni prima e dopo il contenuto principale, usare un'istruzione e un segnale e così via.
• L'ordine è importante. L'ordine in cui sono presenti informazioni al modello potrebbe influire sull'output. Se si inseriscono istruzioni prima del contenuto ("riepiloga quanto segue...") o dopo ("riepilogare quanto sopra...") può fare la differenza nell'output. Anche l'ordine degli esempi few-shot può essere importante. Questa differenza viene chiamata recency bias.
• Dare al modello un'uscita. A volte può essere utile assegnare al modello un percorso alternativo se non è in grado di completare l'attività assegnata. Ad esempio, quando si pone una domanda su una parte di testo, è possibile includere qualcosa come "rispondere con "non trovato" se la risposta non è presente". Questa aggiunta consente al modello di evitare di generare risposte false.

Efficienza dello spazio

Mentre le dimensioni di input aumentano con ogni nuova generazione di modelli GPT, è comunque possibile riscontrare scenari che forniscono più dati rispetto al modello può gestire. I modelli GPT suddivideno le parole in "token". Anche se le parole multisyllable comuni sono spesso un singolo token, le parole meno comuni sono suddivise in sillabe. I token possono talvolta essere controintuitivi, come illustrato nell'esempio seguente, che illustra i limiti dei token per formati di data diversi. In questo caso, scrivere per intero il nome del mese occupa meno spazio rispetto a usare una data completamente numerica.

Dato questo spazio limitato, è importante usarlo nel modo più efficiente possibile.

• Tabelle: come illustrato negli esempi della sezione precedente, i modelli GPT possono facilmente comprendere i dati in formato tabulare. Questo formato può essere un modo efficiente per includere i dati, anziché precedere ogni campo con un nome, ad esempio con JSON.
• Spazio vuoto: gli spazi vuoti consecutivi vengono considerati come token separati, che possono sprecare spazio. Gli spazi che precedono una parola, d'altra parte, vengono in genere considerati come parte dello stesso token della parola. Prestare molta attenzione all'uso degli spazi e non usare la punteggiatura quando basta uno spazio.