Monitora le prestazioni degli agenti in Copilot Studio

Utilizza l'analisi per capire le prestazioni del tuo agente e per identificare le aree di miglioramento.

La pagina Monitor in Copilot Studio riassume le metriche chiave e fornisce analisi di utilizzo per i componenti del tuo agente. Apri le metriche individuali per esplorare i dati sottostanti.

L'esperienza Monitor è pensata sia per agenti conversazionali che per agenti autonomi.

Il monitoraggio è disponibile in tutte le aree geografiche. I dati del monitor sono disponibili fino a 360 giorni. I dettagli della sessione e le informazioni sulla trascrizione sono disponibili per gli ultimi 28 giorni. I timestamp delle analisi sono nel Tempo Coordinato Universale (UTC). Le marcature di data e ora includono gli orari di inizio e fine giornata, gli orari delle sessioni e qualsiasi altro marcatore temporale nei dati del tuo agente.

Concedere un accesso limitato in sola visualizzazione ai dati analitici

Se sei il proprietario dell'agente, condividi l'agente con il ruolo di condivisione Analytics Viewer per concedere accesso solo alla sua pagina Monitor . Per accedere alle informazioni sulle trascrizioni della conversazione, la persona deve anche avere il ruolo di sicurezza Bot Transcript Viewer .

Scopri di più in Condividi le analisi di un agente.

Per accedere alla pagina Monitor del tuo agente:

1. Aprire l'agente in Copilot Studio.
2. Seleziona Monitor nella barra del menu in alto.

Summary

L'area Summary usa Copilot per generare un riepilogo dell'intelligenza artificiale delle informazioni di analisi chiave sull'agente. Selezionare Visualizza altro per visualizzare l'elenco riepilogato completo delle informazioni dettagliate.

Consente di comprendere rapidamente i temi e le metriche comuni e di identificare le aree per il miglioramento dell'agente riepilogandole in un elenco puntato per il periodo di report selezionato. Questo elenco può includere metriche di engagement, sentiment e feedback dei clienti, e tendenze dall'ultimo periodo di report.

Riepilogo dei commenti dei clienti (anteprima)

[Questa sezione fa parte della documentazione non definitiva, pertanto è soggetta a modifiche.]

Il riepilogo dei commenti dei clienti ti aiuta a comprendere il sentimento generale dei clienti verso l'agente attraverso feedback e commenti. Le informazioni dettagliate sono classificate in ordine di priorità in base al volume dei commenti correlati e al relativo significato complessivo. Il riassunto filtra i commenti di basso valore o irrilevanti e raggruppa insieme i feedback correlati.

Per fornire feedback a Microsoft su questa sezione, seleziona Mi piace o Non mi piace. Usa il pannello Invia feedback a Microsoft per aggiungere un commento e scegliere se condividere i file correlati.

1. Nel riquadro Invia il feedback a Microsoft, descrivi in linguaggio naturale ciò che ti piace e ciò che non ti piace, a seconda dell'icona che hai selezionato per aprire il riquadro.
2. Scegli se condividere prompt, risposta generata, esempi di contenuti rilevanti e file di log aggiuntivi.
3. Selezionare Invia.

Overview

Controlla un riepilogo delle prestazioni di alto livello nell'area Overview, poi esplora le singole metriche in modo più dettagliato.

Utenti attivi

Le metriche degli utenti attivi mostrano l'adozione di un agente conversazionale e come questo cambia nel tempo. Un utente attivo è un utente univoco che ha interagito con l'agente di conversazione almeno una volta durante il periodo del report. La pagina Monitor mostra gli utenti attivi giornalieri (DAU) e gli utenti attivi mensili (MAU). Il conteggio giornaliero copre un'intera giornata di 24 ore su UTC. Il conteggio mensile segue il mese solare in UTC.

La DAU media per il periodo selezionato, più la relativa variazione percentuale rispetto al periodo precedente, viene visualizzata come indicatore di prestazioni chiave (KPI) nella sezione Panoramica .

Per visualizzare altri dettagli sui conteggi degli utenti attivi giornalieri e mensili nel corso del tempo, selezionare il pulsante Visualizza utenti attivi nell'angolo in alto a destra del pannello di panoramica.

Solo sessioni conversazionali

Analisi per gli agenti conversazionali in Copilot Studio tengono traccia del coinvolgimento degli utenti con il tuo agente e cercano di catturare quanto bene l'agente gestisce le attività degli utenti.

L'analisi conversazionale utilizza i concetti e i termini seguenti:

• Le conversazioni sono un'interazione continua tra un utente specifico, o un gruppo di utenti, su un canale e il tuo agente.

• Le conversazioni possono essere messe in pausa e riprese in un secondo momento oppure essere trasferite a un rappresentante del servizio clienti. La conversazione può essere unidirezionale, sia dal cliente all'agente, sia dall'agente al cliente, ma più comunemente è un'interazione a botta e indietro tra cliente e agente.

• Si verifica il timeout di una conversazione dopo 30 minuti di inattività.

• Per gli agenti pubblicati sul canale telefonico, le conversazioni scadono 3 minuti dopo un evento Fine conversazione.

• Una singola conversazione può contenere una o più sessioni di analisi.

• Una sessione di analisi alimentata dall'harness Standard è associata all'ultimo argomento personalizzato attivato da un utente. Se la sessione non include argomenti personalizzati, è l'ultimo argomento di sistema attivato direttamente dall'utente.

Solo sessioni di trigger di eventi

Un agente autonomo è un agente con un trigger di evento. Questi agenti supportano solo l'analisi dei dati per gli agenti con trigger.

Una sessione di analisi per gli agenti con trigger tiene traccia del momento in cui un agente riceve un payload da un trigger attraverso le azioni che l'agente esegue in risposta. Queste sessioni di analisi registrano a cosa sta rispondendo il tuo agente e quanto bene si comporta il tuo agente.

Visualizzazione ibrida: sessioni sia conversazionali che attivate da eventi

Quando i dati del tuo agente includono sessioni per almeno una conversazione e almeno una esecuzione basata su trigger nel periodo del report, la pagina Monitor mostra una vista ibrida di metriche rilevanti sia per sessioni conversazionali che autonome. In questa visione, le sezioni Panoramica ed Efficacia mostrano le metriche affiancate sia per le sessioni conversazionali che per quelle scatenate dagli eventi. La sezione Usa consente di selezionare tra conversazioni o esecuzioni, che visualizza solo i dati pertinenti. Selezionando Tutti vengono visualizzati tutti i dati correlati all'uso. Nella sezione Soddisfazione vengono visualizzate le metriche di soddisfazione per le sessioni di conversazione.

Ulteriori informazioni in:

• Monitoraggio dell'efficacia degli agenti conversazionali per le metriche delle sessioni conversazionali

• Monitorare la salute degli agenti autonomi per le metriche di sessione attivate da eventi

Scarica le trascrizioni delle conversazioni

Puoi scaricare le trascrizioni delle sessioni in Copilot Studio per i periodi degli ultimi 28 giorni. Può volerci fino a un'ora dopo la fine di una sessione di analisi prima che i dati correlati appaiono sulla dashboard di analisi. Scopri di più su disponibilità, permessi e passaggi per il download in Scaricare le trascrizioni delle conversazioni in Copilot Studio.

La conservazione delle trascrizioni Dataverse è separata dalla finestra di 28 giorni per i dati della sessione in Copilot Studio. Scopri di più in Scarica le trascrizioni delle conversazioni in Power Apps.

Analisi dell'utilizzo degli argomenti

In Copilot Studio un argomento definisce l'avanzamento di una conversazione dell'agente e rappresenta una parte di una conversazione tra un utente e un agente. Il pannello Monitor dell'argomento mostra come si comporta un singolo argomento, inclusa la frequenza con cui viene attivato, come si risolvono le sessioni che lo includono e quanto gli utenti sono soddisfatti di quelle sessioni. Usa queste intuizioni per identificare argomenti che spesso degenerano o vengono abbandonati, quindi assegna loro la priorità per il miglioramento. Per altre informazioni, vedere Creare e modificare gli argomenti.

Per visualizzare l'argomento «Pannello Monitor»:

1. Vai alla pagina Argomenti del tuo agente in Copilot Studio.

2. Selezionare l'argomento da analizzare. Se non sono disponibili argomenti, vedere Creare e modificare argomenti.

3. Nell'angolo in alto a destra della pagina Argomenti , seleziona Altro (...) >Monitor.

Il pannello Monitor mostra:

• Risultati dell'argomento: grafico dei risultati della sessione, Escalated, Resolvede Abandonedper le sessioni in cui è stato attivato questo argomento. Usa questo grafico per valutare rapidamente lo stato dei temi. Un'elevata percentuale di esiti Escalated o Abandoned può significare che l'argomento necessita di miglioramenti.
• Utilizzo totale degli argomenti: grafico della tendenza dei risultati dell'argomento nel tempo. Usare questa opzione per rilevare le regressioni, ad esempio un picco nelle sessioni abbandonate dopo la modifica di un argomento o per confermare che le modifiche recenti migliorano le frequenze di risoluzione.
• Punteggio di soddisfazione dei clienti: punteggio basato sulle risposte del sondaggio utente dalle sessioni associate a questo argomento.
• Tendenza del punteggio di soddisfazione: grafico che mostra come cambia il punteggio di soddisfazione nel tempo. Usa questo andamento per identificare i periodi in cui il sentimento degli utenti è peggiorato o migliorato.

Per modificare l'intervallo di tempo, seleziona il menu a discesa dell'intervallo di tempo nella parte superiore del pannello Monitor dell'argomento.

Informazioni correlate

Misurare il ritorno sugli investimenti (ROI) e il valore aziendale degli agenti di IA