Creare un agente Genie efficace

Curare un agente Genie in modo che gli utenti aziendali ottengano risposte accurate e coerenti quando fanno domande in linguaggio naturale dei dati. Il compito del curatore è quello di colmare il divario tra la conoscenza generale del mondo di Genie e il linguaggio specializzato usato in un dominio o un'azienda specifica. Fornire set di dati ben documentati, espressioni SQL per la semantica aziendale, query SQL di esempio e istruzioni di testo non crittografate in modo che Genie possa interpretare le domande e generare risultati corretti.

Procedure consigliate per la definizione di un nuovo agente

Si pensi a Genie come un nuovo analista di dati che si unirà alla tua azienda. Come qualsiasi nuovo membro del team, Genie deve avere un contesto chiaro per essere efficace. Si basa su descrizioni di tabelle e colonne di qualità per comprendere cosa rappresentano i dati, ad esempio le query SQL per informazioni su come risolvere i problemi comuni, le espressioni SQL per definire la terminologia aziendale e le istruzioni di testo solo quando altri metodi non si applicano. Più contesto strutturato fornisci tramite metadati ed esempi, più accuratamente Genie può interpretare le domande e generare risultati corretti.

Tenere presenti questi principi guida durante la creazione dell'agente Genie:

• Fornire set di dati concisi e ben documentati: Le descrizioni di qualità delle tabelle e delle colonne nel Unity Catalog sono fondamentali per l'accuratezza di Genie. Risolvere le ambiguità delle colonne e fare un pre-join o denormalizzare le tabelle usando viste o viste delle metriche. Set di dati ben documentati e semplificati migliorano la capacità di Genie di rispondere accuratamente alle domande sui dati.
• Classificare in ordine di priorità le espressioni SQL e l'esempio SQL rispetto alle istruzioni di testo: usare espressioni SQL per definire semantica aziendale come metriche e filtri. Usare sql di esempio per insegnare a Genie come gestire prompt ambigui comuni. Usare le istruzioni di testo solo come ultima risorsa quando le espressioni e gli esempi SQL non possono soddisfare la necessità. Le definizioni strutturate tramite SQL sono più affidabili e gestibili rispetto alle linee guida di testo normale.
• Scrivere istruzioni di testo chiare e specifiche: evitare istruzioni vaghe. Ad esempio, invece di "Porre domande di chiarimento quando vengono poste domande sulle vendite", scrivere "Quando gli utenti chiedono metriche di vendita senza specificare il nome del prodotto o il canale di vendita, chiedere: Per procedere con l'analisi delle vendite, specificare il nome del prodotto e il canale di vendita".
• Evitare istruzioni in conflitto: garantire la coerenza tra tutti i tipi di istruzioni. Ad esempio, se le istruzioni di testo specificano l'arrotondamento dei decimali a due cifre, le query SQL di esempio devono anche arrotondare a due cifre.

Le sezioni seguenti forniscono raccomandazioni dettagliate per la creazione di agenti e la risoluzione dei problemi di precisione.

Iniziare in piccolo

La cura di un agente Genie è un processo iterativo. Quando si crea un nuovo agente, iniziare il più piccolo possibile, con istruzioni minime e un set limitato di domande a cui rispondere. È quindi possibile aggiungere durante l’iterazione in base al feedback e al monitoraggio. Questo approccio semplifica la creazione e la gestione dell'agente e consente di curarlo in modo efficace in risposta alle esigenze degli utenti reali.

Usare le linee guida seguenti per creare un piccolo agente Genie:

• Rimanere concentrati: includere solo le tabelle necessarie per rispondere alle domande che l'agente deve gestire. Punta a cinque o meno tabelle. Maggiore è il livello di concentrazione della selezione, meglio è. Mantenere l'agente incentrato in modo stretto su una piccola quantità di dati è ideale, quindi limitare il numero di colonne nelle tabelle incluse.
• Lavorare entro il limite di 30 tabelle: gli agenti Genie supportano fino a 30 tabelle o viste. Se l'argomento relativo ai dati richiede più di 30 tabelle, aggiungere le tabelle correlate in viste o visualizzazioni delle metriche prima di aggiungerle all'agente. Le visualizzazioni delle metriche sono particolarmente efficaci per gli agenti Genie perché pre-definiscono metriche, dimensioni e aggregazioni. Questo approccio consente di rimanere entro il limite, semplifica il modello di dati e può migliorare l'accuratezza della risposta di Genie. Per informazioni dettagliate sull'aggiunta di oggetti dati all'agente, vedere Gestire gli oggetti dati .
• Pianificare l'iterazione: iniziare con una configurazione minima per l'agente, concentrandosi su tabelle essenziali e istruzioni di base. Aggiungere linee guida ed esempi più dettagliati man mano che si affina l'agente nel tempo, invece di mirare inizialmente alla perfezione.
• Basarsi su tabelle ben annotate: Genie utilizza i nomi delle colonne e le descrizioni del Catalogo Unity per generare risposte. La chiarezza dei nomi e delle descrizioni delle colonne consente di produrre risposte di alta qualità. Le descrizioni delle colonne devono offrire informazioni contestuali precise. Evitare dettagli ambigui o non necessari. Esaminare le descrizioni generate dall'intelligenza artificiale per ottenere precisione e chiarezza e usarle solo se sono allineate a ciò che si farebbe manualmente.

Chiedere a un esperto di dominio di definire l'agente

Un creatore di agenti efficace deve comprendere i dati e le informazioni dettagliate che possono essere ottenute da esso. Gli analisti dei dati esperti in SQL hanno in genere le conoscenze e le competenze necessarie per curare l'agente.

Definire lo scopo dell'agente

L'identificazione del gruppo di destinatari e dello scopo specifici dell'agente consente di decidere quali dati, istruzioni e domande testare da usare. Un agente deve rispondere a domande per un particolare argomento e gruppo di destinatari, non domande generali in vari domini. È possibile semplificare i set di dati pregiudendo le tabelle e rimuovendo colonne non necessarie prima di aggiungere dati a un agente. Man mano che aggiungi dati al tuo agente, mantieni i dati ben focalizzati sullo scopo specifico dell'agente. Nascondere le colonne che potrebbero generare confusione o non importanti. Vedere Nascondere o visualizzare le colonne pertinenti.

Aggiungere metadati e sinonimi

È possibile aggiungere sinonimi di colonna e descrizioni personalizzate ai dati in un agente Genie. Questi metadati hanno come ambito l'agente Genie e non sovrascrivono i metadati archiviati nel catalogo unity. Le descrizioni delle colonne di qualità e i sinonimi consentono a Genie di comprendere meglio la colonna, sceglierla per le domande pertinenti e scrivere codice SQL più accurato. Vedere Modificare i metadati della colonna.

Usare la corrispondenza del prompt Genie

La corrispondenza dei prompt consente a Genie di abbinare i valori più rilevanti per il quesito dell'utente e correggere gli errori di ortografia nei prompt degli utenti. Ciò migliora l'accuratezza di Genie aiutandola a abbinare meglio i prompt degli utenti alle colonne e ai valori corretti. Genie fornisce automaticamente l'abbinamento dei prompt man mano che aggiungi tabelle all'agente. È possibile gestire le colonne per cui è abilitata la corrispondenza dei prompt. Vedere Gestire gli oggetti dati e ottimizzare la qualità dell'agente Genie.

Fornire esempi e istruzioni incentrati

Genie Agents si comporta al meglio con un set limitato di istruzioni incentrate. Databricks consiglia di usare query SQL di esempio per fornire istruzioni nell'agente. Le query SQL di esempio consentono a Genie di abbinare le richieste degli utenti alle query SQL verificate e di apprendere da esempi per rispondere a domande correlate. Vedere Aggiungere query e funzioni SQL di esempio.

Per il contesto che deve essere applicato a livello globale nell'agente Genie, un piccolo set ben organizzato di istruzioni di testo normale può anche contribuire a mantenere la pertinenza e migliorare la qualità della risposta. Troppe istruzioni possono ridurre l'efficacia, specialmente nelle conversazioni più lunghe, perché Genie potrebbe faticare a classificare in ordine di priorità le indicazioni più importanti. Per informazioni dettagliate, vedere Fornire istruzioni.

Scegliere il tipo di istruzione corretto

Usare le linee guida seguenti per decidere tra espressioni SQL, query SQL di esempio e istruzioni di testo:

• Usare espressioni SQL per termini aziendali comuni: quando si definiscono metriche, filtri o dimensioni usate di frequente che rappresentano concetti aziendali standard, usare espressioni SQL nell'archivio conoscenze. Le espressioni SQL sono definizioni efficienti e riutilizzabili che consentono a Genie di comprendere la logica di business. Ad esempio, usare espressioni SQL per definire revenue, active_customers, gross_margino recent_sales. Vedere Definire espressioni SQL.
• Usare query SQL di esempio per domande complesse: quando si indirizzano domande difficili da interpretare, in più parti o complesse, fornire query SQL di esempio complete. Questi esempi illustrano a Genie come gestire i modelli di query complessi e la logica a più fasi. Ad esempio, è possibile creare query SQL per richieste come "scomposizione delle prestazioni del team" o "Per i clienti che hanno effettuato l'accesso solo di recente, quali prodotti stanno facendo il meglio?". Vedere Aggiungere query e funzioni SQL di esempio.
• Usare le istruzioni di testo solo come ultima risorsa: le istruzioni di testo devono essere usate con moderazione, solo quando le espressioni SQL e gli esempi non possono soddisfare la necessità. Usare le istruzioni di testo per indicazioni che richiedono una spiegazione in linguaggio naturale, ad esempio "Quando gli utenti chiedono informazioni sulle prestazioni dei clienti senza specificare un intervallo di tempo, chiedere loro di chiarire il periodo di tempo" o "Sempre arrotondare le percentuali a due cifre decimali nei riepiloghi". Evitare di usare istruzioni di testo per definire metriche, filtri o modelli di query che possono essere espressi tramite SQL.

Chiedere a Genie di porre domande di chiarimento

Per chiedere a Genie di porre domande di chiarimento in determinati scenari, siate espliciti su quando chiedere chiarimenti e come procedere. Usare istruzioni chiare e specifiche che definiscono sia le condizioni di attivazione che il comportamento di chiarimento previsto.

Ad esempio, aggiungere il tipo di istruzione seguente all'agente:

Quando gli utenti chiedono informazioni sulla scomposizione delle prestazioni di vendita, ma non includono intervallo di tempo, canale di vendita o indicatori KPI nella richiesta, è necessario porre prima una domanda di chiarimento per raccogliere le informazioni necessarie. Ad esempio: "Specificare l'intervallo di tempo e il canale di vendita che si sta cercando".

Strutturare le istruzioni di chiarimento con questi componenti:

• Condizione del trigger: definire gli argomenti o gli scenari che richiedono chiarimenti (ad esempio, "Quando gli utenti chiedono informazioni su X argomento...")
• Dettagli mancanti: specificare quali informazioni devono essere presenti ,ad esempio "... ma non includere i dettagli Y...")
• Azione richiesta: dichiarare che Genie deve chiedere chiarimenti (ad esempio, "... è necessario porre prima una domanda di chiarimento...")
• Chiarimento di esempio: fornire la domanda specifica Genie deve porre (ad esempio, "Specificare...")

Aggiungere istruzioni di chiarimento alla fine delle istruzioni generali per aiutare Genie a classificare in ordine di priorità questo comportamento quando risponde a domande ambigue.

Personalizzare i riepiloghi

Genie fornisce riepiloghi in linguaggio naturale insieme ai risultati delle query per aiutare gli utenti a comprendere i dati. È possibile personalizzare il modo in cui Genie genera questi riepiloghi aggiungendo istruzioni specifiche alle istruzioni di testo dell'agente. Le istruzioni per la personalizzazione del riepilogo si applicano a tutte le risposte nell’assistente.

Per personalizzare il comportamento di riepilogo, aggiungere una sezione dedicata alla fine delle istruzioni di testo con l'intestazione "Istruzioni da seguire quando si forniscono riepiloghi".

Istruzioni per la personalizzazione del riepilogo di esempio:

Istruzioni da seguire quando si forniscono riepiloghi

• Rispondere sempre in francese quando si forniscono riepiloghi
• Cita i nomi delle tabelle e delle colonne utilizzati nella tua analisi.
• Usare punti elenco per organizzare i riepiloghi composti in più parti
• Includere l'intervallo di date coperto nei risultati

Testare e regolare

Dovresti essere il primo utente del tuo agente. Dopo aver creato un nuovo agente, iniziare a porre domande. Esaminare attentamente il codice SQL generato in risposta alle domande. Se Genie interpreta erroneamente i dati, le domande o il gergo aziendale, è possibile intervenire modificando il codice SQL generato o fornendo altre istruzioni specifiche. Continuare a testare e modificare finché non si ottengono risposte affidabili.

Dopo aver esaminato una domanda, è possibile aggiungerla come domanda di benchmark che è possibile usare per testare e assegnare punteggi all'agente per un'accuratezza complessiva sistematicamente. È possibile usare varianti e formulazioni di domande diverse per testare le risposte di Genie. Consultare Benchmarks.

Per idee sulla correzione di risposte errate, vedere Risolvere i problemi relativi agli agenti Genie.

Distribuisci e gestisci le versioni del tuo agente con bundle di automazione dichiarativa

Utilizza i Bundle di automazione dichiarativa per definire, distribuire e gestire il controllo delle versioni dei tuoi agenti Genie come codice. L'archiviazione della configurazione dell'agente in un repository di bundle offre distribuzioni riproducibili, cronologia modifiche e possibilità di promuovere gli agenti in ambienti diversi (sviluppo, gestione temporanea, produzione). Consulta Risorse dei pacchetti di automazione dichiarativa.

Condurre i test dell’utente

Dopo aver verificato la qualità della risposta tramite test, reclutare un utente aziendale per provare l'agente Genie. Utilizzare le linee guida seguenti per fornire un percorso utente semplice e raccogliere feedback per un miglioramento continuo:

• Impostare le aspettative che il loro lavoro è quello di aiutare a perfezionare l'agente.
• Chiedi loro di concentrare i test sullo specifico argomento e sulle domande a cui l'agente è progettato per rispondere.
• Se ricevono una risposta errata, invita gli utenti ad aggiungere istruzioni aggiuntive e chiarimenti nella chat per perfezionare la risposta. Quando viene fornita una risposta corretta, si dovrebbe dare un voto positivo alla query finale per ridurre al minimo errori simili nelle interazioni future.
• Indicare agli utenti di richiamare o disattivare le risposte usando il meccanismo di feedback predefinito.
• Invitare gli utenti a condividere commenti e suggerimenti aggiuntivi e domande non risolte direttamente con gli autori dell'agente. Gli autori e gli editor possono utilizzare il feedback per perfezionare istruzioni, esempi e asset attendibili.

Valutare la possibilità di fornire materiali di formazione o un documento scritto con linee guida per testare l'agente e fornire feedback. Indirizzare gli utenti aziendali all'uso di un agente Genie per esplorare i dati aziendali per iniziare a lavorare con un nuovo agente Genie.

Quando gli utenti aziendali testano l'agente, gli utenti con almeno le autorizzazioni CAN MANAGE possono visualizzare le domande poste nella scheda Monitoraggio . Continuare ad aggiungere il contesto per aiutare Genie a interpretare correttamente le domande e i dati per fornire risposte accurate. Per altre informazioni sul monitoraggio degli agenti Genie, vedere Monitorare l'agente . È anche possibile usare i log di controllo per monitorare il feedback di Genie Agent ed esaminare le richieste. Vedi Monitorare l'utilizzo di Genie Agents con log di audit e avvisi.

Per la risoluzione dei problemi comuni relativi agli agenti Genie, vedere Risolvere i problemi relativi agli agenti Genie.