Die Optimierung eines Agents endet nicht mit der Einführung. Copilot Studio stellt umfangreiche Analysen bereit, die Ihnen helfen, zu verstehen, wie Benutzer mit Ihrem Agent interagieren, wo Unterhaltungen erfolgreich verlaufen oder scheitern und wie gut der Agent seine Tools und sein Wissen einsetzt. Dieser Artikel stellt eine strukturierte Checkliste und Best Practices bereit, um Ihnen dabei zu helfen, Ihren Agent kontinuierlich zu bewerten und zu verbessern.
Überprüfen Sie Ihre Verbesserungs- und Analysebereitschaft
Verwenden Sie diese Fragen während regelmäßiger Überprüfungen, wie zum Beispiel Sprint-Meetings, monatlichen Optimierungen oder zur Freigabebereitschaft.
Themen und Absichtsmuster der Benutzer
| Fertig? |
Aufgabe |
| ✓ |
Überprüfen Sie Themen, um Cluster von Benutzerfragen und neuen Absichten zu identifizieren? |
| ✓ |
Fügen Sie häufig auftretende Themen zu Ihrem Backlog für zukünftige Verbesserungen hinzu? |
Unterhaltungsergebnisse
| Fertig? |
Aufgabe |
| ✓ |
Analysieren Sie gelöste, eskalierte, abgebrochene und unbeteiligte Unterhaltungen, um Verbesserungsmöglichkeiten zu identifizieren? |
| ✓ |
Stellen Sie sicher, dass die Unterhaltungen mit dem Thema für das Ende der Unterhaltung enden, damit die Ergebnisse korrekt erfasst werden? |
| ✓ |
Untersuchen Sie Spitzen bei abgebrochenen Sitzungen, um unklare Antworten oder fehlende Logik zu identifizieren? |
| ✓ |
Validieren Sie, dass Eskalationswege nur dann ausgelöst werden, wenn es angemessen ist? |
Rate und Qualität der generierten Antworten
| Fertig? |
Aufgabe |
| ✓ |
Überprüfen Sie die generierte Antwortrate, um Wissenslücken oder fehlende Abdeckungen zu identifizieren? |
| ✓ |
Überprüfen Sie Qualitätsmetriken wie Vollständigkeit, Quellenbezug und Relevanz? |
| ✓ |
Untersuchen Sie Antworten mit schlechter Qualität und gehen Sie auf die in der Analyse genannten Gründe ein? |
| Fertig? |
Aufgabe |
| ✓ |
Überwachen Sie, wie oft Tools und Aktionen genutzt werden und ob sie erfolgreich sind oder fehlschlagen? |
| ✓ |
Identifizieren Sie zu wenig genutzte oder fehleranfällige Tools und bestimmen Sie, ob Sie sie optimieren oder entfernen. |
| ✓ |
Validieren Sie, dass die in der generativen Orchestrierung verwendeten Tools zuverlässig funktionieren? |
| Fertig? |
Aufgabe |
| ✓ |
Überprüfen Sie die Nutzung und Fehlerraten aller Wissensquellen? |
| ✓ |
Priorisieren Sie Aktualisierungen für Wissensquellen mit hohen Fehlerraten oder inkonsistenten Ergebnissen? |
| ✓ |
Überprüfen Sie, ob die richtigen Wissensquellen die Szenarien unterstützen, für die sie gedacht sind? |
Zufriedenheit und Benutzerfeedback
| Fertig? |
Aufgabe |
| ✓ |
Sammeln Sie die Benutzerstimmung durch Daumen hoch/runter und CSAT-Umfragen? |
| ✓ |
Analysieren Sie Feedback-Trends, um unklare Antworten oder schwache Unterhaltungsverläufe zu erkennen? |
| ✓ |
Fügen Sie Interaktionsmuster mit geringer Zufriedenheit zu Ihrem Backlog zur Überarbeitung hinzu? |
Best Practices-Hinweise
-
Behandeln Sie Analysen als einen kontinuierlichen Verbesserungsprozess: Nutzen Sie Analysen, um schrittweise Veränderungen voranzutreiben. Verwenden Sie Themen, unvollständige Antworten und Fehlermuster, um die Sprintplanung zu unterstützen und Backlog-Elemente zu priorisieren.
-
Konzentrieren Sie sich auf die Qualität der Ergebnisse, nicht nur auf die Menge: Ein gesundes System maximiert gelöste Unterhaltungen und minimiert Eskalationen und Abbrüche. Verwenden Sie Ergebnisverhältnisse als führenden Indikator für Klarheit und Wirksamkeit.
-
Stärken Sie Wissensquellen proaktiv: Hohe Fehlerquote oder minderwertige Antworten deuten oft auf unklare, veraltete oder unpassende Wissensquellen hin. Aktualisieren und restrukturieren Sie diese Quellen regelmäßig, um ein besseres Grounding zu gewährleisten.
-
Optimieren Sie Tools für Stabilität und Erfolg: Unzuverlässige Toolaufrufe verringern das Vertrauen. Erfassen Sie Erfolgsraten und refaktorieren Sie Aktionen, die häufig fehlschlagen oder inkonsistente Daten liefern.
-
Verwenden Sie Themen, um neue Möglichkeiten zu identifizieren: Themen heben aufkommende Benutzerabsichten hervor. Nutzen Sie sie, um neue Themen, Wissensquellen oder Integrationsanforderungen zu identifizieren.
-
Stellen Sie sicher, dass Unterhaltungen ordnungsgemäß beendet werden: Verwenden Sie immer das Thema „Ende der Unterhaltung“, um Lösung und CSAT zu dokumentieren. Ohne dieses Thema werden Analysen unvollständig und irreführend.
-
Separieren Sie Bewertung autonomer und benutzerinitiierter Agents: Autonome Agents sind stark auf Trigger und Toolketten angewiesen. Überprüfen Sie Ausführungsergebnisse und Trigger getrennt von benutzerinitiierten Flows.
-
Verfolgen Sie die Stimmung im Zeitverlauf: Einzelnes Feedback ist nützlich, aber mehrwöchige Stimmungstrends decken systemische Probleme auf. Untersuchen Sie anhaltende Einbrüche frühzeitig.