Referenz für Agentmetriken

Diese Referenzbibliothek enthält jede Metrik, die in dieser Datenreihe benannt ist. Jede Metrik enthält eine einfache englische Definition, häufige Anwendungsfälle und wo sie im Copilot Studio Ökosystem zu finden sind.

So lesen Sie diese Bibliothek

Jeder Eintrag hat vier Teile:

  • Metrischer Name: Verwenden Sie einen kanonischen Ausdruck oder Standardnamen in allen Wertüberprüfungen. Ein Name vermeidet die Verwirrung, die aus der Verwendung mehrerer Bezeichnungen für dieselbe Metrik stammt.
  • Definition: Definieren Sie die Metrik für Leser, die nicht damit vertraut sind.
  • Häufige Anwendungsfälle: Beschreiben Sie, wo sich diese Metrik in Ihrem Portfolio normalerweise ändert.
  • Source: Auflisten der Microsoft Oberflächen, die die Metrik ausgeben. Diese Metrik kann in mehreren Oberflächen angezeigt werden, und die Bibliothek listet die einzelnen Aufzählungen auf, damit Sie Ihre Optionen kennen.
Abschnitt Was es abdeckt
Engagement- und Einführungsmetriken Gibt an, ob Personen Ihren Agent verwenden
Ergebnismetriken Ob Benutzer ihre Ziele mit dem Agenten erreichen können
Qualitäts- und Fundiertheitsmetriken Gibt an, ob die Antworten des Agenten korrekt, markenintern und sicher sind.
Kundenstimmen und qualitative Signale Wie Benutzer Ihren Agent über die Nummern hinaus erleben
Produktivitäts- und Prozessmetriken Gibt an, ob der Agent die Form der Arbeit ändert.
Metriken für produktive Stundenwerte So wandeln Sie eingesparte Zeit in Agent Assisted Hours und einen Wert in Dollar um
Metriken für Geschäftsergebnisse Gibt an, ob der Agent die Nummern für Ihre Geschäftspläne verschoben hat.

Verwenden dieser Bibliothek in der Praxis

Verstehen Sie diese Bibliothek als Ihr gemeinsames Vokabular. Wählen Sie für jeden neuen Anwendungsfall einen kleinen Satz von Metriken aus, die am wichtigsten sind – ein oder zwei pro Säule. Verwenden Sie die kanonischen Bezeichnungen in dieser Bibliothek, und teilen Sie Ihrem Team mit, woher die einzelnen Metriken stammen. Wenn die gleiche Metrik in zwei Agents angezeigt wird, garantiert die Bibliothek, dass die Engagementrate in beiden Agents dasselbe bedeutet, unabhängig davon, ob es sich um einen Kundendienstmitarbeiter oder einen Personalmitarbeiter handelt. Diese Konsistenz wandelt 16 separate Messprogramme in eine kohärente Wertgeschichte um.

Engagement- und Einführungsmetriken

Diese Metriken geben Ihnen an, ob Personen Tatsächlich Ihren Agent verwenden. Ohne sie ist jede andere Metrik theoretisch.

Metrik Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
Sitzungen insgesamt Die Anzahl der Analysesitzungen in einem Zeitraum. Eine Benutzerkonversation kann zu mehreren Analysesitzungen führen, wenn der Benutzer nach dem Thema „Ende der Konversation“ neue Fragen stellt. Jeder Konversationsagent. Copilot Studio Analytics
Kundenbindungsquote, Der Anteil der Analysesitzungen, die ein benutzerdefiniertes Thema, Escalate, Fallback oder Conversational Boosting ausgelöst haben; dies zeigt an, dass der Benutzer eine echte Unterhaltung geführt hat, anstatt die Unterhaltung nach der ersten Begrüßung zu verlassen. Kundenservice, HR, IT-Helpdesk, Wissensdatenbank. Copilot Studio Analytics, Agenteninteraktion messen
Routineakzeptanzrate Der Anteil der berechtigten Benutzer, die den Agenten an vier oder mehr aktiven Tagen in einem beliebigen gleitenden Vierwochenzeitraum verwendet haben – der Schwellenwert, den Microsoft verwendet, um Benutzer zu identifizieren, die den Agenten in ihre Gewohnheiten integriert haben. Vertriebsunterstützung, Mitarbeiterproduktivität, Wissen, Personalwesen, Projektmanagement. Copilot-Dashboard in Viva Insights
Aktive Tage pro Benutzer Die Anzahl der unterschiedlichen Tage, die ein Benutzer über den Zeitraum mit dem Agent interagiert hat, wodurch wiederholte Benutzer von einmaligen Benutzern unterschieden werden können. Wissen, Vertriebshilfe, Produktivität der Führungskräfte. Copilot-Dashboard in Viva Insights
Aktive Tage des Verkäufers beim Agenten Routine-Adoptionsrate, beschränkt auf Ihre Verkäufergruppe, dient dazu, zu verstehen, ob Vertriebsteams den Agenten in ihren täglichen Arbeitsablauf integrieren. Vertriebs- und Kontoverwaltung. Copilot-Geschäftsauswirkungsbericht
Verwendung von Triggern (autonom) Die Anzahl und das Ergebnis jedes Ereignis-Triggers, der die Ausführung eines autonomen Agenten gestartet hat, sodass Sie erkennen können, welche Trigger Ihr Geschäft vorantreiben und welche nur irrelevant sind. Finanz- und Rechnungsverarbeitung, Beschaffungsaufnahme, Cybersicherheit, Lieferkette. Analysieren autonomer Agents

Ergebnismetriken

Diese Metriken geben Ihnen an, ob Benutzer ihre Ziele mit dem Agent erreichen können.

Metrik Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
Lösungsquote, Der Anteil der interaktiven Sitzungen, die mit einem gelösten Ergebnis endeten, entweder vom Benutzer bestätigt (der Benutzer antwortete mit „Ja“ auf die Frage zum Ende der Konversation) oder durch den Ablauf impliziert (der Benutzer antwortete nicht und die Logik des Agenten stellte den Erfolg fest). Kundenservice, HR, IT-Helpdesk, Wissensdatenbank. Copilot Studio Analytics, Measure Agent-Ergebnisse
Eskalationsrate Der Anteil der interagierten Sitzungen, die über das Thema „Eskalieren“ oder einen Konversationsknoten „Übertragen“ weitergeleitet wurden, was anzeigt, wann Ihr Agent bereit ist, einen Menschen einzubeziehen. Kundendienst, Personalwesen, IT-Helpdesk, Rechtsabteilung. Agentenergebnisse messen
Abbruchsquote Der Anteil der Sitzungen mit Interaktion, die nach 60 Minuten Inaktivität ohne Lösung oder Eskalation beendet wurden und als Ihr Fail-quietly-Signal dienen. Kundendienst, Wissen, Web Q&A. Übersicht über die Ablenkung
Ablenkungsrate Der Anteil eingehender Anfragen, die im Self-Service gelöst wurden, statt an einen menschlichen Mitarbeiter eskaliert zu werden – die zentrale Kennzahl für jeden Tier-1-Supportmitarbeiter. Kundendienst, PERSONAL, IT-Helpdesk, Beschaffung. Übersicht über die Ablenkung
First-Contact-Resolution (FCR) Der Anteil der Fälle, die bei der ersten Interaktion gelöst wurden, ohne innerhalb von sieben Tagen einen Rücksendekontakt zu benötigen, was der klarste Indikator ist, dass der Agent das Problem gelöst hat. Kundendienst, IT-Helpdesk, Außendienst. Konversationsagenten analysieren
Ergebnisse ausführen (autonom) Der Endstatus jedes Durchlaufs eines autonomen Agenten, unterteilt in erfolgreich und erfolglos, mit durchschnittlicher Dauer (das Äquivalent zur Lösungsquote für autonome Agenten). Finanz- und Rechnungsverarbeitung, Beschaffung, Cybersicherheit, Lieferkette. Analysieren autonomer Agents
Werkzeugverwendung (autonom) Die Anzahl und Erfolgsquote jedes Tools, das der Agent während einer Ausführung aufgerufen hat, was Ihnen angibt, ob Ihre Tools effektiv sind. Autonome Agenten in jeder Funktion. Analysieren autonomer Agents
Wissensquelle nutzen Die Anzahl der Verweise, die der Agent während einer Sitzung oder eines Durchlaufs auf die einzelnen Wissensquellen gemacht hat. Daraus geht hervor, welche Inhalte Ihren Agenten unterstützen und welche Inhalte ungenutzt bleiben. Wissen, Kundendienst, IT-Helpdesk, legal. Copilot Studio Analytics

Qualitäts- und Faktenbasierungsmetriken

Diese Metriken geben Ihnen an, ob die Arbeit, die der Agent ausführt, korrekt, markenintern und sicher ist.

Metrik Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
Generierte Antwortrate Der Anteil der Nutzerfragen, die mit einer generativen Antwort beantwortet wurden, anstatt in einen Fallback- oder unbeantworteten Status zu geraten. Wissen, Kundendienst, PERSONAL, IT-Helpdesk. Konversationsagenten analysieren
Generierte Antwortqualität Eine Bewertungspunktzahl für die vom Agenten erstellten Antworten, gemessen an Referenzantworten oder den Kriterien einer Bewertungsrubrik. Wissen, Recht, Marketing. Analysiere Konversationsagenten, Copilot Agent Kit Rubriken
Verankerung Eine Bewertungspunktzahl dafür, ob die Antwort des Agenten durch die von ihm zitierten Wissensquellen gestützt wird, bewertet von einem KI-Richter anhand einer konfigurierbaren Bewertungsrubrik. Wissen, Rechtsberatung, Finanzberatung, regulierte Funktionen. Copilot Agent Kit Rubriken
Bewertung der Anweisungsbefolgung Eine Bewertung dafür, ob der Agent die System- und Benutzeranweisungen in seiner Antwort befolgt hat. Marketing, Legal, Kommunikation, jede Funktion mit Marken- oder Complianceeinschränkungen. Copilot Agent Kit Rubriken
Themen-Übereinstimmungsbewertung Ob der Agent bei einer bestimmten Testäußerung das Thema ausgelöst hat, dessen Auslösung Sie erwartet haben; dies ist Ihr Regressionssignal für die Intent-Erkennung. Kundendienst, HR, IT-Helpdesk, jeder Agent mit strukturierten Themen. Copilot Agent Kit Testfunktionen
Zitatgenauigkeit Der Anteil der Agentenantworten, deren Aussagen durch die vom Agenten beigefügten Zitate gestützt werden, gemessen anhand einer stichprobenbasierten Überprüfung. Wissen, Rechtsberatung, Finanzberatung. Konversationsanalyse
KI-generierte Einblicke (Vorschau) Tägliche KI-generierte Empfehlungen zu unbeantworteten generativen KI-Fragen, mit spezifischen Abdeckungskorrekturen, die Sie anwenden können. Wissen, Kundenservice, Personalwesen. Konversationsagenten analysieren

Kundenfeedback und qualitative Signale

Diese Signale erfassen, wie Benutzer Ihren Agent erleben. Sie erzählen einen Teil der Wertgeschichte, den Zahlen allein nicht zeigen können.

Signal Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
CSAT Die durchschnittliche Kundenzufriedenheitsbewertung aus der Umfrage am Ende der Unterhaltung auf einer Skala von 1 bis 5, wobei 1–2 für „unzufrieden“ stehen, 3 „neutral“ bedeutet und 4–5 für „zufrieden“ stehen. Kundendienst, HR Self-Service, IT-Helpdesk. Konversationsagenten analysieren
Reaktionen (Daumen nach oben / Daumen nach unten mit Kommentaren) Benutzerfeedback pro Nachricht wurde 28 Tage lang aufbewahrt, optional mit Freitextkommentaren, die erklären, warum ein Benutzer positiv oder negativ reagiert hat. Jeder Konversationsagent. Konversationsagenten analysieren
Stimmung (Vorschau) Ein von KI bewerteter Prozentsatz der Sitzungen im Zeitraum, die eine negative Nutzerstimmung aufwiesen und Ihnen hilft, Probleme selbst in bereits gelösten Sitzungen zu erkennen. Kundendienst, PERSONAL, Wissen, Kommunikation. Konversationsagenten analysieren
Themen (Vorschau) KI-gruppierte Cluster von Nutzerfragen, auf die generative Antworten gegeben wurden, sodass Sie sehen können, welche Fragen Nutzer in ihren eigenen Worten stellen, und mit einem Schritt Testsätze aus jedem beliebigen Thema erstellen können. Wissen, Kundenservice, Personalwesen. Benutzerfragen nach Themen analysieren
Erzählung der Kundenerfahrung Wiederkehrende Themen aus Agenten-Transkripten, die über CSAT hinausgehen (Ton, Klarheit, Reibung, Vertrauen) und durch benutzerdefinierte Prompts sichtbar gemacht werden, die auf Transkripte angewendet werden. Kundendienst, Personalwesen, Kommunikation. Konversationsanalyse
Benutzervertrauensbewusstsein Ob Benutzer den Antworten des Agenten genug vertrauen, um danach zu handeln, erkennbar an Reaktionskommentaren und Conversation-Analyzer-Themen zu Zuversicht und Vertrauen. Wissen, Rechts-, Finanzberatungs-, Entscheidungs-Support-Agenten. Analyse der Agenteneffektivität plus Konversationsanalyse
Managergeschichten der zurückgeforderten Kapazität Konkrete Berichte von Führungskräften darüber, wie ihre Teams die Zeit reinvestieren, die ihnen der Agent zurückgibt, festgehalten in strukturierten Quartalsgesprächen. Jeder Agent, der messbare Produktivstunden zurückgibt. Quartalsweise Wertüberprüfungsgespräche, dokumentiert im Wertprotokoll des Agenten.
Mitarbeiterstimmung auf KI Standardisierte Sentiment-Elemente (Produktivität, Geschwindigkeit, Aufwand, Qualität) aus einer Glint- oder Pulse-Umfrage sowie offene Kommentare, die zeigen, wie Copilot das Arbeitserlebnis verändert. Jeder Copilot-Rollout – organisationsweit. Viva Glint Copilot Impact Survey, widergespiegelt im Copilot-Dashboard
Signal für Talentgewinnung und -bindung Ob KI-Kompetenz und KI-gestützte Arbeit in Austrittsgesprächen, Recruiting-Gesprächen und Panels zur Hochschulrekrutierung zur Sprache kommen. Strategische Säulenberichterstattung in jeder Funktion. HR-Hörkanäle, Recruiting Feedback, Exit-Interview-Transkriptionen.

Produktivitäts- und Prozessmetriken

Diese Metriken zeigen, ob der Agent die Arbeitsweise verändert und nicht nur, ob Telemetrie generiert wird.

Metrik Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
Zykluszeit Die verstrichene Zeit vom Beginn eines Prozesses bis zu seinem Abschluss, die in der Regel als Median sowie als P90- und P99-Perzentile angegeben wird, da das Verhalten im Randbereich häufig wichtiger ist als der Median. Finanz- und Rechnungsverarbeitung, Beschaffung, Rechts-, Kundendienst. Copilot Studio Analytics sowie Ihre eigenen ERP- oder Workflowdaten.
Durchschnittliche Handlezeit (AHT) Die mediane Zeit vom Beginn einer Sitzung bis zu ihrer Lösung und damit die für Konversationsagenten relevanteste Variante der Zykluszeit. Kundendienst, IT-Helpdesk, HR Self-Service. Konversationsagenten analysieren
Berührungslose Rate Der Anteil der Transaktionen, die ein autonomer Agent durchgängig ohne jegliches menschliches Eingreifen abgeschlossen hat, ist das klarste Signal für vollständige Automatisierung bei Agenten im Finanz-, Beschaffungs- und Lieferkettenbereich. Finanz- und Rechnungsverarbeitung, Beschaffungsaufnahme, Lieferkette. Analysieren autonomer Agents
Zeit für die erste Antwort Die verstrichene Zeit von der Frage eines Benutzers bis zur ersten nützlichen Antwort, die in allen Wissensanforderungen erfasst wird. Wissen, IT-Helpdesk, Produktivität der Führungskräfte. Copilot Studio Analytics plus Baseline Sampling für den Pre-Agent-Zustand.
P90-Zykluszeit Die 90. Quantilzykluszeit: 90 Prozent der Fälle werden bei oder unter diesem Wert abgeschlossen, wodurch der langsame Tail angezeigt wird, den Ihr Median ausblenden kann. Kundendienst, Finanzen, Beschaffung, Außendienst. Erfasst während Ihrer Prebuild-Baseline; verfügbar in Ihrem ERP-, Ticketing- oder Workflowsystem.
P99-Zyklusdauer Die Zykluszeit im 99. Perzentil: 99 Prozent der Fälle werden bei oder unterhalb dieses Werts abgeschlossen; dadurch werden die problematischsten Ausreißer sichtbar, mit denen Ihr Sponsor befasst wird. Kundendienst, IT-Vorgänge, legal. Erfasst während des Prebuild-Basisplans.
Mittlere Zeit bis zur Erkennung (MTTD) Die mediane Zeit, die zwischen dem Auftreten eines Sicherheitsereignisses und seiner Erkennung vergeht. Cybersicherheit und SOC-Vorgänge. Ihr SIEM ist der Agent-Telemetrie in Application Insights beigetreten.
Mittlere Zeit für die Reaktion (MTTR) Die mittlere Zeitspanne zwischen Erkennung und Reaktion, die ein autonomer Triage-Agent in der Regel reduziert, indem er Anreicherung und Benachrichtigung automatisch übernimmt. Cybersicherheit, IT-Vorgänge. Azure-Anwendung Insights, verbunden mit Ihrem Vorfallverwaltungssystem.
Fixrate zum ersten Mal Der Anteil von Außendienstbesuchen, die das Problem bei der ersten Reise ohne Rückkehr behoben haben. Felddienst. Ihr Field-Service-Management-System, das der Agent-Telemetrie beigetreten ist.

Wertmetriken für produktive Stunden

Diese Metriken zeigen, wie viel Zeit Ihr Agent spart, damit ihr Team sich auf die Arbeit mit höherem Wert konzentrieren kann.

Metrik Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
Agent-unterstützte Stunden (AAH) Die von Microsoft veröffentlichte Schätzung der produktiven Stunden, die Ihr Agent Ihrem Team zurückgibt, berechnet als (Wissensverweise plus gewichtete Sitzungen ohne Wissensverweise) mal dem Zeitersparnis-Multiplikator, geteilt durch 60. Jeder in Copilot Studio erstellte Agent. Copilot Studio-Agents-Bericht
Agentengestützter Wert (AAV) Agentengestützte Stunden, in Dollar umgerechnet zu einem konfigurierbaren produktiven Stundensatz, standardmäßig 72 $ pro Stunde, basierend auf Arbeitgeberkostendaten des U.S. Bureau of Labor Statistics. (Sie können die Rate durch Ihren eigenen vollständig geladenen Produktivstundenwert ersetzen.) Jeder in Copilot Studio erstellte Agent. Copilot Studio-Agents-Bericht, Copilot-Dashboard
Multiplikator für Zeiteinsparungen Die geschätzte Zeitersparnis in Minuten pro Wissensquelle oder pro Aktion, die Sie im Berichtsrechner für Agenten in Copilot Studio überschreiben können. Der Microsoft-Standardwert beträgt sechs Minuten pro Wissensverweis und basiert auf Forschungsergebnissen des Microsoft Office of the Chief Economist. Jeder Agent berechnet AAH. Kalkulator für den Bericht zu Copilot Studio-Agents, mit der Quelle auf Microsoft WorkLab
Monatliche Einsparungen (pro Ausführung) Geschätzte pro erfolgreicher Agentenausführung eingesparte Zeit oder Geldsumme, direkt vom Besitzer des Agenten auf der Analytics-Seite eingegeben. Aktualisiert rückwirkend, wenn Sie Eingaben ändern. Kundendienst, PERSONAL, IT-Helpdesk, Finanzen. Analysieren von Zeit- und Kosteneinsparungen für Agenten
Monatliche Einsparungen (pro Tool) Die gleiche Sparschätzung, aufgeschlüsselt nach einzelnem Tool, das der Agent aufgerufen hat. Nützlich, wenn verschiedene Tools unterschiedliche Produktivstundenbeiträge darstellen. Finanzen, Beschaffung, Cybersicherheit, Lieferkette. Analysieren von Zeit- und Kosteneinsparungen für Agenten
Benutzerdefinierte Metriken (Vorschau) Bis zu drei herstellerdefinierte Metriken pro Agent, ausgedrückt in natürlicher Sprache. Copilot Studio bewertet eine Stichprobe von Sitzungen und zeigt das Ergebnis als beschriftete Donut an. Marketing (Markenkonformitätsrate), Recht (Klauselabdeckung), Service (Lösungsquote nach Problemkategorie). Analysieren Ihres Agents mit benutzerdefinierten Metriken
Kosten pro Transaktion Die Gesamtkosten für den Abschluss einer Transaktion im aktuellen Prozess, einschließlich des Werts produktiver Stunden, der Systemkosten und der Nacharbeit. Diese Kostenposition ist der Ausgangswert, mit dem der agentengestützte Wert verglichen wird. Kundendienst, Finanzen, Beschaffung. Erfasst während des Prebuild-Basisplans. Berechnet aus Ihrem ERP und HRIS.

Metriken für Geschäftsergebnisse

Diese Kennzahlen zeigen, ob der Agent die für Ihr Unternehmen wichtigen Kennzahlen beeinflusst hat. Der Agent erzeugt diese Metriken nicht direkt. Sie beeinflusst sie durch einen besseren Service, schnellere Zyklen und produktivere Stunden.

Metrik Definition Häufig verwendete Anwendungsfälle Wo Sie es finden
Konvertierungslift Die Änderung der Conversion-Rate (Lead-to-Meeting, Meeting-to-Pipeline, Opportunity-to-Close) für Kohorten, die mit dem Agenten interagiert haben, im Vergleich zu abgeglichenen Kohorten, die nicht mit ihm interagiert haben. Vertrieb, Marketing, Kundendienst. Copilot-Geschäftsauswirkungsbericht
Beibehaltungsdelta Die Änderung der Kundenbindungsrate für Kohorten, bei deren Interaktionen es zu einem Kontakt mit dem Agenten kam, im Vergleich zu passenden Kohorten, bei denen dies nicht der Fall war. Kundendienst, Kundenerfolg. Copilot-Geschäftsauswirkungsbericht
Cross-Sell-Rate Der Anteil der Kundeninteraktionen, aus denen Cross-Selling oder Upselling resultierten, vor und nach dem Agenten. Vertrieb, Bankwesen, Einzelhandel. Copilot-Geschäftsauswirkungsbericht
Prognosegenauigkeit Die Abweichung zwischen Prognose und tatsächlichen Ergebnissen, verringert durch schnellere Pipeline-Updates und bessere Vertriebskapazität. Vertrieb, Finanzen. Copilot-Geschäftsauswirkungsbericht
DSO -Delta (Tage, Verkaufszahlen ausstehend) Die Verkürzung der Zeit von der Rechnung bis zum Zahlungseingang, häufig erreicht durch kürzere Rechnungsdurchlaufzeiten und weniger Ausnahmefälle. Finanz- und Rechnungsverarbeitung. Ihr ERP, verbunden mit Agent-Telemetrie über den Copilot Geschäftswirkungsbericht.
Anteil der Ausgaben außerhalb des Katalogs Der Anteil der Beschaffungsausgaben, der außerhalb genehmigter Kataloge erfolgt, wird voraussichtlich sinken, wenn ein Intake-Agent Kataloge und Richtlinien durchsetzt. Beschaffung. Ihr Beschaffungssystem, verbunden mit Agent-Telemetrie.
Audit-Feststellungen vermieden Der Rückgang der Audit-Feststellungen von Quartal zu Quartal, der auf eine bessere Richtlinienkonformität, eine höhere Qualität der Quellenangaben oder stärkere Leitplanken zurückzuführen ist. Rechts-, Finanz-, regulierte Funktionen. Ihr Audit-Tracking-System, verbunden mit den Daten des Copilot Agent Kit Compliance Hub.
  • Last updated on