Informazioni di riferimento sulle metriche dell'agente

Questa libreria di riferimento contiene ogni metrica denominata in questa serie. Ogni metrica include una semplice definizione in inglese, casi d'uso comuni e dove trovarla nell'ecosistema Copilot Studio.

Come leggere questa libreria

Ogni voce ha quattro parti:

  • Nome della metrica: usa una formulazione canonica o un nome standard in tutte le revisioni dei valori. Un nome evita la confusione che deriva dall'uso di più etichette per la stessa metrica.
  • Definizione: definire la metrica per i lettori che non hanno familiarità con esso.
  • Casi d'uso comuni: descrivere dove nel portfolio questa metrica cambia in genere.
  • Source: Elencare le superfici Microsoft che emettono la metrica. Questa metrica può essere visualizzata in più superfici e la raccolta elenca ognuna di esse in modo da conoscere le opzioni.
Sezione Cosa copre
Metriche di engagement e adozione Se le persone usano il tuo agente
Metriche dei risultati Indica se gli utenti sono in grado di raggiungere i propri obiettivi con l'agente
Metriche di qualità e fondatezza Se le risposte dell'agente siano corrette, in linea con il marchio e sicure
Feedback dei clienti e segnali qualitativi Come gli utenti sperimentano l'agente oltre i numeri
Metriche relative alla produttività e ai processi Indica se l'agente sta cambiando la forma del lavoro
Metriche dei valori delle ore produttive Come convertire il tempo risparmiato in ore assistite da operatore e valore in dollari
Metriche relative ai risultati aziendali Se l'agente ha trasferito i numeri dei tuoi piani aziendali

Come usare questa libreria in pratica

Considerare questa libreria come vocabolario condiviso. Per ogni nuovo caso d'uso, scegliere un piccolo set di metriche più importanti, uno o due per ogni pilastro. Usare le etichette canoniche in questa libreria e indicare al team da dove proviene ogni metrica. Se la stessa metrica viene visualizzata in due agenti, la libreria garantisce che il tasso di engagement corrisponda a quello di entrambi gli agenti, sia che si tratti di un agente del servizio clienti o di un agente HR. Questa coerenza trasforma 16 programmi di misurazione separati in una storia di valore coerente.

Metriche di engagement e adozione

Queste metriche indicano se le persone utilizzano davvero l'agente. Senza di essi, ogni altra metrica è teorica.

Metrica Definizione casi d'uso comuni La posizione in cui è
Totale sessioni Numero di sessioni di analisi in un periodo. Una conversazione utente può produrre più sessioni di analisi quando l'utente pone nuove domande dopo l'argomento Fine conversazione. Ogni agente di conversazione. Analisi di Copilot Studio
Tasso di interazione La percentuale di sessioni di analisi che hanno attivato un argomento personalizzato, Escalate, Fallback o Conversational Boosting, che indica che l'utente ha avviato una conversazione reale anziché abbandonare dopo il saluto iniziale. Servizio clienti, HR, help desk IT, conoscenza. Copilot Studio Analytics, Misura il coinvolgimento degli agenti
Frequenza di adozione di routine La quota degli utenti idonei che hanno utilizzato l'agente in quattro o più giorni attivi in un qualsiasi periodo mobile di quattro settimane, soglia che Microsoft utilizza per identificare gli utenti che hanno integrato l'agente nelle loro abitudini. Assistenza vendite, produttività dirigente, conoscenza, risorse umane, gestione dei progetti. Dashboard di Copilot in Viva Insights
Giorni attivi per utente Numero di giorni distinti che un utente ha interagito con l'agente nel periodo, che consente di distinguere gli utenti ripetuti da utenti monouso. Conoscenza, assistenza alle vendite, produttività dei dirigenti. Dashboard di Copilot in Viva Insights
Giorni di attività del venditore nell'agente Tasso di adozione nell’uso quotidiano limitato alla tua popolazione di venditori, utilizzato per capire se i team di vendita stanno integrando l’agente nel loro flusso di lavoro quotidiano. Gestione delle vendite e degli account. Report sull'impatto aziendale di Copilot
Uso del trigger (autonomo) Il conteggio e il risultato di ogni trigger di evento che ha avviato un’esecuzione di un agente autonomo, che indicano quali trigger trainano la tua attività e quali costituiscono solo rumore. Gestione finanziaria e delle fatture, gestione delle richieste di approvvigionamento, sicurezza informatica, catena di approvvigionamento. Analizzare gli agenti autonomi

Metriche dei risultati

Queste metriche indicano se gli utenti sono in grado di raggiungere i propri obiettivi con l'agente.

Metrica Definizione casi d'uso comuni La posizione in cui è
Tasso di risoluzione Condivisione di sessioni coinvolte che terminano con un risultato risolto, confermate dall'utente (l'utente ha detto sì alla domanda di fine conversazione) o implicite dal flusso (l'utente non ha risposto e la logica dell'agente ha determinato il successo). Servizio clienti, HR, help desk IT, conoscenza. Copilot Studio Analytics, Misura i risultati degli agenti
Frequenza di escalation La percentuale di sessioni coinvolte che sono state trasferite tramite l'argomento Escalate o un nodo di conversazione Trasferisci, che indica quando l'assistente è pronto a coinvolgere un operatore umano. Servizio clienti, risorse umane, supporto IT, legale. Misura gli esiti degli agenti
Tasso di abbandono La percentuale di sessioni attive che terminano dopo 60 minuti di inattività senza risoluzione né escalation, ovvero il segnale di errore silenzioso. Servizio clienti, knowledge base, domande e risposte sul web. Panoramica delle deviazioni
Frequenza di deflezione La percentuale di richieste in ingresso risolte in modalità self-service anziché essere inoltrate a un operatore umano, che rappresenta la metrica chiave per qualsiasi operatore di supporto di primo livello. Servizio clienti, risorse umane, supporto IT, approvvigionamento. Panoramica delle deviazioni
Risoluzione al primo contatto (FCR) La quota di casi risolti nella prima interazione senza bisogno di un contatto restituito entro sette giorni, che è l'indicatore più chiaro che l'agente ha risolto il problema. Servizio clienti, supporto tecnico IT, servizio sul campo. Analizzare gli agenti di conversazione
Risultati di esecuzione (autonomi) Lo stato finale di ogni esecuzione di un agente autonomo, suddiviso tra esiti positivi e negativi, con la durata media (l’equivalente del tasso di risoluzione per gli agenti autonomi). Elaborazione finanziaria e fattura, approvvigionamento, cybersecurity, supply chain. Analizzare gli agenti autonomi
Uso degli strumenti (autonomo) Il conteggio e la percentuale di successo di ogni strumento invocato dall'agente durante un'esecuzione, che consentono di capire se gli strumenti sono efficaci. Agenti autonomi in qualsiasi funzione. Analizzare gli agenti autonomi
Uso delle origini della conoscenza Il numero di riferimenti che l'agente ha fatto a ciascuna fonte di conoscenza durante una sessione o un'esecuzione, che ti indica quali contenuti alimentano il tuo agente e quali restano inutilizzati. Conoscenza, servizio clienti, supporto TECNICO IT, legale. Analisi di Copilot Studio

Metriche di qualità e fondatezza

Queste metriche indicano se il lavoro svolto dall'agente è corretto, on-brand e sicuro.

Metrica Definizione casi d'uso comuni La posizione in cui è
Tasso di risposte generato La percentuale di domande degli utenti che hanno ricevuto una risposta generativa, anziché ricadere in uno stato di fallback o rimanere senza risposta. Conoscenza, servizio clienti, risorse umane, supporto IT. Analizzare gli agenti di conversazione
Qualità delle risposte generate Punteggio di valutazione per le risposte generate dall'agente, in base a risposte di riferimento o criteri rubrici. Conoscenza, legale, marketing. Analizza gli agenti conversazionali, le rubriche del kit Copilot Agent
Groundedness Punteggio di valutazione per stabilire se la risposta dell'agente è supportata dalla conoscenza citata, valutata da un giudice di intelligenza artificiale rispetto a una rubrica configurabile. Conoscenza, consulenza legale, finanziaria, funzioni regolamentate. Rubriche del kit Copilot Agent
Punteggio di aderenza alle istruzioni Punteggio di valutazione per se l'agente ha seguito le istruzioni di sistema e utente nella risposta. Marketing, legale, comunicazioni, qualsiasi funzione con vincoli di marchio o conformità. Rubriche del kit Copilot Agent
Punteggio di corrispondenza dell'argomento Se l'agente ha attivato l'argomento che ti aspettavi per un determinato enunciato di test, ovvero il segnale per i test di regressione del riconoscimento dell'intento. Servizio clienti, risorse umane, supporto IT, qualsiasi agente con argomenti strutturati. Capacità di test del Copilot Agent Kit
Accuratezza della citazione La percentuale di risposte dell'agente le cui affermazioni sono supportate dalle citazioni allegate dall'agente, misurata tramite revisione a campione. Conoscenza, legale, consulenza finanziaria. Analizzatore conversazioni
Informazioni dettagliate generate dall'intelligenza artificiale (anteprima) Raccomandazioni giornaliere generate dall'intelligenza artificiale su domande di intelligenza artificiale non risolte, con correzioni di copertura specifiche che è possibile applicare. Conoscenza, servizio clienti, RISORSE UMANE. Analizzare gli agenti di conversazione

Segnali vocali dei clienti e qualitativi

Questi segnali acquisiscono il modo in cui gli utenti sperimentano l'agente. Raccontano la parte della storia del valore che i numeri da soli non possono mostrare.

Segnale Definizione casi d'uso comuni La posizione in cui è
CSAT Punteggio medio di soddisfazione del cliente dal sondaggio di fine conversazione, su una scala da 1 a 5, dove 1-2 corrisponde a "insoddisfatto", il 3 a "neutro" e 4-5 a "soddisfatto". Servizio clienti, self-service HR, supporto TECNICO IT. Analizzare gli agenti di conversazione
Reazioni (pollici su/pollici giù con commenti) Il feedback degli utenti per messaggio è stato mantenuto per 28 giorni, facoltativamente con commenti senza testo che spiegano perché un utente ha reagito positivamente o negativamente. Ogni agente di conversazione. Analizzare gli agenti di conversazione
Sentiment (anteprima) Percentuale di sessioni nel periodo valutate dall'IA come caratterizzate da sentiment utente negativo, che consente di identificare criticità anche nelle sessioni risolte. Servizio clienti, risorse umane, conoscenze, comunicazioni. Analizzare gli agenti di conversazione
Temi (anteprima) Cluster di domande utente raggruppate in intelligenza artificiale che hanno ricevuto risposte generative, in modo da visualizzare le domande degli utenti nelle proprie parole e creare set di test da qualsiasi tema in un unico passaggio. Conoscenza, servizio clienti, RISORSE UMANE. Analizzare le domande utente in base al tema
Narrazione dell'esperienza del cliente Temi ricorrenti emersi dalle trascrizioni degli agenti che vanno oltre la CSAT (tono, chiarezza, attrito, fiducia), individuati tramite prompt personalizzati applicati alle trascrizioni. Servizio clienti, HR, comunicazioni. Analizzatore conversazioni
Fiducia dell'utente Se gli utenti si fidino abbastanza delle risposte dell'agente da agire di conseguenza, come dimostrato dai commenti di reazione e dai temi di Conversation Analyzer relativi alla sicurezza e alla fiducia. Conoscenza, legale, consulenza finanziaria, agenti di supporto decisionale. Analizzare l'efficacia dell'agente più Conversation Analyzer
Storie dei manager sulla capacità recuperata Narrazioni concrete dei manager sul modo in cui i loro team reinvestono il tempo che l'agente li restituisce, catturati in interviste trimestrali strutturate. Ogni agente che restituisce ore produttive misurabili. Colloqui trimestrali di revisione del valore, registrati nel registro del valore dell'agente.
Sentiment dei dipendenti sull'IA Elementi di valutazione standardizzati (produttività, velocità, impegno, qualità) da un sondaggio Glint o Pulse, più commenti aperti, che mostrano come Copilot sta cambiando l'esperienza di lavoro. Ogni distribuzione di Copilot, in tutta l'organizzazione. Viva Glint Copilot Impact Survey, riflessa nel Dashboard di Copilot
Segnale di attrazione e conservazione dei talenti Se la padronanza dell'IA e il lavoro supportato dall'IA emergano nei colloqui di uscita, nei colloqui di selezione e nei panel di recruiting universitario. Reportistica dei pilastri strategici per qualsiasi funzione. Canali di ascolto delle risorse umane, feedback sul reclutamento, trascrizioni di exit-interview.

Metriche relative alla produttività e ai processi

Queste metriche indicano se l'agente cambia il modo in cui viene eseguito il lavoro, non solo se genera dati di telemetria.

Metrica Definizione casi d'uso comuni La posizione in cui è
Tempo ciclo Tempo trascorso dall'inizio di un processo al suo completamento, in genere segnalato come mediano, P90 e percentili P99 perché il comportamento della coda spesso conta più della mediano. Finanza e elaborazione fatture, approvvigionamento, legale, servizio clienti. Copilot Studio Analytics più i dati ERP o del flusso di lavoro.
Tempo medio di gestione (AHT) Tempo trascorso mediano dall'inizio di una sessione alla risoluzione, ovvero la variante del tempo del ciclo più rilevante per gli agenti conversazionali. Servizio clienti, helpdesk IT, self-service delle risorse umane. Analizzare gli agenti di conversazione
Frequenza senza tocco La percentuale di transazioni che un agente autonomo completa dall'inizio alla fine senza alcun intervento umano, il segnale più chiaro dell'automazione totale negli agenti di finanza, approvvigionamento e catena di approvvigionamento. Finanza ed elaborazione delle fatture, gestione delle richieste di approvvigionamento, catena di approvvigionamento. Analizzare gli agenti autonomi
Tempo per la prima risposta Tempo trascorso dalla domanda di un utente alla prima risposta utile, campionata tra le richieste di informazioni. Conoscenza, supporto IT, produttività dei dirigenti. Copilot Studio Analytics e il campionamento di riferimento per lo stato pre-agente.
P90 tempo di ciclo Tempo di ciclo del 90° percentile: il 90% dei casi si completa entro questo valore o al di sotto di esso, mettendo in evidenza la coda lenta che la mediana può nascondere. Servizio clienti, finanza, approvvigionamento, servizio sul campo. Acquisito durante la baseline pre-build; presente nel proprio sistema ERP, di ticketing o di workflow.
Tempo di ciclo P99 Il tempo di ciclo al 99º percentile: il 99% dei casi si completa a questo valore o al di sotto di esso, evidenziando i casi anomali peggiori in cui il tuo sponsor finisce per essere coinvolto. Servizio clienti, operazioni IT, legale. Acquisito durante la baseline di precompilazione.
Tempo medio di rilevamento (MTTD) Tempo trascorso mediano da quando si è verificato un evento di sicurezza al momento in cui è stato rilevato. Sicurezza informatica e operazioni SOC. SIEM associato alla telemetria dell’agente in Application Insights.
Tempo medio di risposta (MTTR) Il tempo mediano trascorso dal rilevamento alla risposta, che un agente autonomo di triage in genere riduce gestendo automaticamente l'arricchimento e la notifica. Cybersecurity, operazioni IT. applicazione Azure Insights, aggiunto al sistema di gestione degli eventi imprevisti.
Tasso di risoluzione al primo intervento La percentuale di interventi sul campo che hanno risolto il problema al primo intervento, senza la necessità di un ulteriore intervento. Servizio sul campo. Il sistema di gestione dell’assistenza sul campo, integrato con la telemetria dell’agente.

Metriche dei valori delle ore produttive

Queste metriche mostrano quanto tempo l'agente salva in modo che il team possa concentrarsi sul lavoro con valori più elevati.

Metrica Definizione casi d'uso comuni La posizione in cui è
Ore assistite da operatore (AAH) La stima pubblicata da Microsoft delle ore produttive che il tuo agente restituisce al tuo team, calcolata come (riferimenti alle fonti di conoscenza più sessioni ponderate senza riferimenti) moltiplicati per il moltiplicatore del risparmio di tempo, diviso per 60. Ogni agente creato in Copilot Studio. Report degli agenti di Copilot Studio
Valore con assistenza di un agente (AAV) Ore assistite da operatore convertite in dollari a una tariffa oraria produttiva configurabile, con valore predefinito di 72 $ l’ora in base ai dati sui costi del lavoro dei datori di lavoro del Bureau of Labor Statistics degli Stati Uniti. È possibile sostituire la tariffa con il proprio valore di ora produttiva completamente caricato. Ogni agente creato in Copilot Studio. Report degli agenti di Copilot Studio, Dashboard di Copilot
Moltiplicatore del risparmio di tempo Stima dei minuti risparmiati per riferimento della knowledge base o per azione, che è possibile modificare nel calcolatore del report degli agenti di Copilot Studio. Il valore predefinito di Microsoft è di sei minuti per riferimento di conoscenza, ricavato dalla ricerca dell'Office of the Chief Economist di Microsoft. Ogni agente che esegue il calcolo di AAH. report degli agenti di Copilot Studio calcolatore, con fonte su Microsoft WorkLab
Risparmio mensile (per esecuzione) Tempo o denaro stimati risparmiati per ogni esecuzione riuscita dell'agente, inseriti direttamente dal proprietario dell'agente nella pagina Analytics. Viene aggiornato in modo retroattivo quando si modificano gli input. Servizio clienti, risorse umane, supporto IT, finanza. Analizzare i tempi e i risparmi sui costi per gli agenti
Risparmio mensile (per strumento) La stessa stima di risparmio, suddivisa per singolo strumento richiamato dall'agente. Utile quando diversi strumenti rappresentano diversi contributi all'ora produttiva. Finanza, approvvigionamento, cybersecurity, supply chain. Analizzare i tempi e i risparmi sui costi per gli agenti
Metriche personalizzate (anteprima) Fino a tre metriche definite dall'autore per agente, espresse in linguaggio naturale. Copilot Studio assegna un punteggio a un campionamento di sessioni e mostra il risultato come anello etichettato. Marketing (percentuale di conformità al brand), legale (copertura delle clausole), assistenza (risoluzione per categoria di problema). Analizzare l'agente con metriche personalizzate
Costo per transazione Costo complessivo per completare una singola transazione nel processo corrente, inclusi il valore delle ore produttive, i costi di sistema e le rilavorazioni. Questo costo è il riferimento con cui viene confrontato Agent Assisted Value. Servizio clienti, finanza, approvvigionamento. Acquisito durante la baseline di precompilazione. Calcolato dal tuo ERP e HRIS.

Metriche dei risultati aziendali

Queste metriche indicano se l'agente ha spostato i numeri di cui l'azienda si preoccupa. L'agente non produce direttamente queste metriche. Li influenza attraverso un servizio migliore, cicli più veloci e ore più produttive.

Metrica Definizione casi d'uso comuni La posizione in cui è
Incremento delle conversioni Variazione del tasso di conversione (lead-to-meeting, meeting-to-pipeline, opportunity-to-close) per le coorti che hanno interagito con l'agente rispetto alle coorti abbinate che non hanno interagito con esso. Vendite, marketing, servizio clienti. Report sull'impatto aziendale di Copilot
Delta di ritenzione La variazione del tasso di fidelizzazione dei clienti per le coorti le cui interazioni hanno coinvolto l'agente rispetto a quelle delle coorti abbinate che non lo hanno coinvolto. Servizio clienti, successo del cliente. Report sull'impatto aziendale di Copilot
Tasso di vendita incrociata La percentuale di interazioni con i clienti che hanno portato a una vendita incrociata o a un upselling, prima e dopo l’intervento dell’agente. Vendite, banche, vendita al dettaglio. Report sull'impatto aziendale di Copilot
Accuratezza della previsione Lo scostamento tra le previsioni e i risultati effettivi, ridotto da aggiornamenti più rapidi della pipeline e da una maggiore capacità di vendita. Vendite, finanza. Report sull'impatto aziendale di Copilot
Delta DSO (giorni di vendita in sospeso) La riduzione dei giorni dalla fattura alla cassa, spesso migliorata con tempi più rapidi del ciclo della fattura e meno eccezioni. Finanza ed elaborazione della fattura. Il tuo ERP, collegato alla telemetria dell'agente tramite il report Copilot sull'impatto aziendale.
Quota della spesa fuori catalogo La quota di spesa per l'approvvigionamento che ignora i cataloghi approvati, dovrebbe diminuire quando un agente di assunzione applica il catalogo e i criteri. Appalti. Il tuo sistema di procurement, integrato con la telemetria dell'agente.
Risultati del controllo evitati La riduzione dei rilievi dell’audit da un trimestre all’altro, attribuibile a una migliore conformità alle policy, a una migliore qualità delle citazioni o a controlli più efficaci. Funzioni legali, finanziarie, regolamentate. Il tuo sistema di monitoraggio di audit collegato ai dati del Copilot Agent Kit Compliance Hub.
  • Last updated on