Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
[Dieser Artikel ist die Vorabveröffentlichungsdokumentation und unterliegt Änderungen.]
Die Registerkarte Auswerten in der neuen Agentenerfahrung bietet strukturierte, wiederholbare Tests für Ihren Agenten. Nutzen Sie Bewertungen, um die Qualität eines Agenten über Testfälle hinweg zu messen, Verbesserungen über die Zeit zu verfolgen und das Verhalten Ihres Agenten vor der Veröffentlichung zu validieren.
Important
- Hierbei handelt es sich um eine produktionsbereite Previewfunktion.
- Für produktionsbereite Vorschauversionen gelten zusätzliche Nutzungsbedingungen.
Was ist eine Agentenbewertung?
Mit der Agentauswertung können Sie die Antworten Ihres Agenten systematisch anhand von Qualitätsstandards testen. Anstatt jedes Szenario manuell im Reiter Vorschau zu testen, erstellen Sie Bewertungen mit Testgesprächen, definieren, wie Antworten gemessen werden sollen, und führen die Bewertungen durch, um quantitative Ergebnisse zu erhalten.
Die Bewertung hilft Ihnen, Fragen wie diese zu beantworten:
- Antwortet der Agent korrekt über verschiedene erwartete Szenarien hinweg?
- Hat eine Konfigurationsänderung die Antwortqualität verbessert oder verschlechtert?
- Ruft der Agent Tools an, wenn er sollte?
Schlüsselkonzepte
Die folgenden Konzepte sind entscheidend bei der Durchführung von Bewertungen in Copilot Studio:
Gespräche
Ein Gespräch ist ein Testfall, der ein Szenario repräsentiert, das Ihr Agent bearbeiten soll. Jedes Gespräch umfasst Benutzernachrichten und optional erwartete Agentenantworten. Organisieren Sie Gespräche zu Bewertungen. Erstellen Sie Gespräche manuell, generieren Sie sie mit KI oder laden Sie sie aus einer CSV-Datei hoch.
Evaluations
Eine Auswertung ist ein benannter Testsatz, der Gespräche mit einer Testmethode kombiniert. Sie erstellen Auswertungen aus der Registerkarte Auswerten, fügen Unterhaltungen hinzu und führen sie dann aus, um bewertete Ergebnisse zu erzielen.
Testmethoden
Testmethoden legen fest, wie die Antworten des Agenten bewertet werden. Derzeit ist die einzige verfügbare Testmethode die allgemeine Qualität, eine KI-basierte Bewertung, ob Antworten Qualitätsstandards wie Relevanz und Vollständigkeit erfüllen.
Note
Die Testmethode Allgemeine Qualität vergleicht die Antworten nicht mit den erwarteten Ergebnissen.
Benutzerprofil
Die von den Tools verwendeten Auswertungen und Verbindungen werden mit dem Profil des aktuell angemeldeten Benutzers ausgeführt. Du kannst dich nicht mit einem anderen Nutzer verbinden, während du angemeldet bist. Um eine Bewertung als anderer Nutzer durchzuführen, melden Sie sich ab, melden Sie sich mit dem Konto dieses Benutzers an und starten Sie dann die Bewertung.
Kreditnutzung
Evaluate zeigt während des gesamten Testprozesses den geschätzten Verbrauch an Copilot Credits an, damit Sie die Kosten für die Testqualität verstehen, bevor Sie größere Testsuiten ausführen. Sie können sehen, welche Experiences Credits nutzen, den geschätzten Gesamtverbrauch für jeden Bewertungsdurchlauf, eine Aufschlüsselung nach der Generierung und der Bewertung von Antworten sowie den Credit-Verbrauch auf Ebene einzelner Testfälle. Erfahren Sie mehr unter Geschätzte Kreditnutzung verstehen.
Auswertungsworkflow
Befolgen Sie diese Schritte, um einen Makler zu bewerten:
- Erstellen Sie eine Auswertung: In der Registerkarte Auswertung starten Sie eine neue Auswertung. Erfahren Sie mehr in Erstellen eines Testsets für einen Agenten.
- Unterhaltungen hinzufügen: Testunterhaltungen manuell erstellen, mit KI generieren oder per CSV-Datei hochladen.
- Konfigurieren: Benennen Sie die Bewertung, wählen Sie eine Testmethode und wählen Sie die Agentenversion.
- Führen Sie die Bewertung durch: Wählen Sie Evaluieren , um den Test durchzuführen, und warten Sie auf die Ergebnisse. Erfahren Sie mehr in Führen Sie eine Bewertung für einen Makler durch.
- Überprüfen Sie die Ergebnisse: Analysieren Sie die Ergebnisse und identifizieren Sie Verbesserungsmöglichkeiten. Erfahren Sie mehr in Auswertungsergebnisse für einen Agent anzeigen.
- Iterieren: Passe die Anweisungen, das Wissen oder die Werkzeuge deines Agenten an und führe die Bewertung erneut durch, um die Wirkung zu messen.
Limitations
Bewertungen werden nur für Agenten unterstützt, die auf Keine Authentifizierung oder Mit Microsoft authentifizieren eingestellt sind. Agenten, die auf Manuell authentifizieren eingestellt sind, werden nicht unterstützt.