L'ottimizzazione di un agente non si conclude con il suo lancio. Copilot Studio offre analisi approfondite che ti aiutano a comprendere come gli utenti interagiscono con il tuo agente, dove le conversazioni hanno successo o si interrompono e il livello di capacità dell'agente di usare i suoi strumenti e le fonti delle informazioni. Questo articolo include un elenco di controllo strutturato e alcune procedure consigliate per aiutarti a valutare e migliorare continuamente il tuo agente.
Verificare la preparazione verso il miglioramento e l'analisi
Usa queste domande durante le revisioni periodiche, come le cerimonie sprint, le ottimizzazioni mensili o i controlli in preparazione al rilascio.
Temi e modelli di finalità dell'utente
| Dopo aver completato l'operazione, |
Attività |
| ✓ |
Stai esaminando i temi per individuare cluster di domande degli utenti e finalità emergenti? |
| ✓ |
Stai aggiungendo i temi ricorrenti al tuo backlog per i miglioramenti futuri? |
Risultati conversazione
| Dopo aver completato l'operazione, |
Attività |
| ✓ |
Stai analizzando le conversazioni risolte, riassegnate, abbandonate e non ingaggiate per individuare aree di miglioramento? |
| ✓ |
Ti stai assicurando che le conversazioni si concludano con l'argomento Fine della conversazione, così che gli esiti vengano acquisiti correttamente? |
| ✓ |
Stai indagando sui picchi nelle sessioni abbandonate per identificare risposte poco chiare o mancanza di logica? |
| ✓ |
Stai verificando che i percorsi di escalation si attivino solo quando opportuno? |
Percentuale e qualità delle risposte generate
| Dopo aver completato l'operazione, |
Attività |
| ✓ |
Rivedi la percentuale di risposte generate per identificare lacune di conoscenza o copertura mancante? |
| ✓ |
Controlli le metriche della qualità delle risposte come la completezza, la fondatezza e la rilevanza? |
| ✓ |
Esamini le risposte di scarsa qualità e affronti le ragioni segnalate nelle analisi? |
| Dopo aver completato l'operazione, |
Attività |
| ✓ |
Monitori la frequenza con cui gli strumenti e le azioni vengono richiamati e se hanno esito positivo o non riescono? |
| ✓ |
Identifichi gli strumenti poco utilizzati o soggetti a errori e decidi se ottimizzarli o rimuoverli? |
| ✓ |
Verifichi che gli strumenti usati nell'orchestrazione generativa abbiano prestazioni affidabili? |
| Dopo aver completato l'operazione, |
Attività |
| ✓ |
Verifichi i tassi di utilizzo e di errore di tutte le fonti delle informazioni? |
| ✓ |
Dai priorità agli aggiornamenti delle fonti delle informazioni che presentano tassi di errore elevati o risultati incoerenti? |
| ✓ |
Verifichi che le fonti delle informazioni corrette supportino gli scenari per i quali sono previste? |
Soddisfazione e feedback degli utenti
| Dopo aver completato l'operazione, |
Attività |
| ✓ |
Stai raccogliendo le valutazioni utenti attraverso sondaggi CSAT e valutazioni Mi piace/Non mi piace? |
| ✓ |
Stai analizzando le tendenze dei feedback per rilevare risposte poco chiare o flussi di conversazione deboli? |
| ✓ |
Stai aggiungendo al backlog i pattern di interazione con bassa soddisfazione per riprogettarli? |
Callout di procedure consigliate
-
Considera l'analisi come un ciclo di miglioramento iterativo: usa l'analisi per promuovere modifiche incrementali. Usa i temi, le risposte incomplete e i modelli di errore per fornire dati per la pianificazione di sprint e prioritizzare gli elementi del backlog.
-
Concentrati sulla qualità dei risultati, non solo sul volume: un sistema integro massimizza le conversazioni risolte e riduce al minimo le escalation e gli abbandoni. Usa i rapporti di risultato come indicatore principale della chiarezza e dell'efficacia.
-
Rafforza le fonti delle informazioni in modo proattivo: un'elevata percentuale di errori o risposte di bassa qualità spesso sono frutto di fonti delle informazioni non chiare, non aggiornate o non correttamente associate. Aggiorna e ristruttura frequentemente queste fonti per garantire un grounding più efficace.
-
Ottimizza gli strumenti per garantire stabilità e successo: chiamate a strumenti non affidabili riducono la fiducia. Tieni traccia delle percentuali di successo ed effettua il refactoring delle azioni che falliscono frequentemente o restituiscono dati incoerenti.
-
Usa i temi per individuare nuove opportunità: i temi evidenziano finalità emergenti. Usali per informare nuovi argomenti, fonti delle informazioni o esigenze di integrazione.
-
Assicurati che le conversazioni si concludano positivamente: usa sempre l'argomento Fine della conversazione per acquisire la risoluzione il CSAT. Senza questo argomento, le analisi diventano incomplete e fuorvianti.
-
Separa la valutazione di agenti autonomi e avviati dall'utente: gli agenti autonomi si affidano molto su trigger e catene di strumenti. Rivedi i risultati delle esecuzioni e i trigger separatamente dai flussi avviati dall'utente.
-
Tieni traccia delle valutazioni nel tempo: i feedback isolati sono utili, ma le tendenze delle valutazioni su più settimane rivela problemi sistemici. Indaga subito sulle flessioni persistenti.