Erstellen eines einzelnen Antworttestsatzes

Eine Evaluierung mit einer einzelnen Antwort testet Ihren Agenten mit einer nicht zusammenhängenden Frage zu einer Zeit, anstatt eines vollständigen Gesprächs. Eine einzelne Antwortauswertung für einen Kundendienstmitarbeiter fragt beispielsweise , was sind Ihre Geschäftszeiten?, zeichnet die Antwort des Agenten auf diese Frage auf und beginnt dann mit einer neuen Frage, Wie finde ich meinen Bestellverlauf?

Einzelne Antwortauswertungen eignen sich gut, wenn Sie Ihren Agent testen möchten, wie er bestimmte Fragen beantwortet, welche Funktionen sie aufruft, und für den genauen Wortlaut, den er in seinen Antworten verwendet. Sie können auch die Konversationsbewertung ausführen, mit der Sie das Verhalten Ihres Agenten über eine längere Interaktion bewerten können.

Auswertungen verwenden Testsätze. Ein Testset für Einzelauswertungen besteht aus einer Gruppe von bis zu 100 Testfällen. Wenn Sie eine Agentenbewertung durchführen, wählen Sie einen Testsatz aus, und Copilot Studio führt jeden Testfall in diesem Set gegen Ihren Agenten aus.

Sie können Testfälle innerhalb eines Testsets manuell erstellen, sie über eine Tabelle importieren oder KI nutzen, um Nachrichten basierend auf dem Design und den Ressourcen Ihres Agenten zu generieren. Sie können dann wählen, wie Sie die Qualität der Antworten Ihres Agenten für jeden Testfall innerhalb eines Testsets messen möchten.

Erfahren Sie mehr darüber, wie die Agentenbewertung funktioniert, in Über die Agentenbewertung.

Um zu lernen, wie man einen bestehenden Testsatz bearbeitet, siehe Die Details eines Testsatzes ändern.

Erstellen eines neuen Testsatzes

1. Gehe auf die Bewertungsseite deines Agenten .

   

2. Wähle Neue Bewertung und dann Single Responses.

   

3. Wählen Sie die Methode aus, die Sie zum Erstellen des Testsatzes verwenden möchten. Ein Testset kann bis zu 100 Testfälle enthalten.

   • Schnelle Fragenreihe, damit Copilot Studio Testfälle automatisch basierend auf der Beschreibung, den Anweisungen und den Funktionen Ihres Agents erstellen kann. Diese Option generiert 10 Fragen für kleine, schnelle Bewertungen oder zum Aufbau eines größeren Testsets.
   • Vollständiger Fragesatz, damit Copilot Studio Testfälle erstellt, indem eine Wissensquelle oder Themen verwendet werden, und wählen Sie die Anzahl der zu generierenden Fragen.
   • Nutzen Sie Ihre Testchat-Konstruktation , um das Testset automatisch mit den Fragen zu füllen, die Sie im Testchat gestellt haben. Diese Methode verwendet Fragen aus dem neuesten Testchat. Sie können auch eine Auswertung aus dem Testchat starten, indem Sie das Symbol "Auswerten" verwenden.
     
   • Importiere Testfälle aus einer Datei , indem du deine Datei in den vorgesehenen Bereich ziehst, Browsen auswählst, um eine Datei hochzuladen, oder eine der anderen Upload-Optionen auswählst.
   • Oder schreibe selbst ein paar Fragen , um manuell ein Testset zu erstellen. Befolgen Sie die Schritte, um ein Testset zu bearbeiten , um Testfälle hinzuzufügen und zu bearbeiten.
   • Nutze Produktionsdaten, die auf Themen aus den Analysen deines Agenten basieren.

4. Geben Sie unter Name einen Namen für den Testsatz ein.

5. Unter Testmethoden auswählen ändern oder fügen Sie die gewünschten Testmethoden hinzu:

   • Fügen Sie eine neue Methode hinzu:
     1. Wählen Sie Testmethode hinzufügen.
     2. Wähle alle Methoden aus, mit denen du testen möchtest, und wähle dann OK.
     3. Einige Methoden erfordern eine Mindestpunktzahl zum Bestehen. Die Bestehensnote bestimmt, welche Punktzahl zu einem Bestehen oder Nichtbestehen führt. Setzen Sie die Punktzahl und wählen Sie dann OK.
     4. Einige Methoden erfordern, dass erwartete Antworten oder Schlüsselwörter für jeden Ihrer Testfälle hinzugefügt werden. Erfahren Sie mehr unter Choose Evaluation Methods
   • Wählen Sie eine bestehende Testmethode zum Bearbeiten oder Löschen aus.

   Prüfmethode	Maße	Testsatztyp	Bewertung	Configurations
   Allgemeine Qualität	Wie gut sind die Antwort(en) eines Testfalls auf der Grundlage bestimmter Eigenschaften	Einzelne Antwort oder Unterhaltung	Bewertet mit maximal 100%	Nichts
   Bedeutung vergleichen	Wie gut die Bedeutung der Antwort des Testfalls mit der erwarteten Antwort übereinstimmt	Einzelantwort	Bewertet mit maximal 100%	Bestehensgrenze, erwartete Antwort
   Werkzeuggebrauch	Gibt an, ob der Testfall alle oder beliebige der erwarteten Ressourcen verwendet hat.	Einzelantwort	Bestanden/Nicht bestanden	Erwartete Fähigkeiten
   Schlüsselwort-Übereinstimmung	Ob der Testfall alle oder einige der erwarteten Schlüsselbegriffe oder Phrasen verwendet hat	Einzelne Antwort oder Unterhaltung	Bestanden/Nicht bestanden	Erwartete Schlüsselwörter oder -phrasen
   Textähnlichkeit	Wie gut der Text der Antwort des Testfalls mit der erwarteten Antwort übereinstimmt	Einzelantwort	Bewertet mit maximal 100%	Bestehensgrenze, erwartete Antwort
   Genaue Übereinstimmung	Ob die Antwort des Testfalls genau mit der erwarteten Antwort übereinstimmt	Einzelantwort	Bestanden/Nicht bestanden	Erwartete Antwort
   Benutzerdefiniert	Ob die Antwort des Testfalls Ihre definierten Kriterien oder Erwartungen erfüllt.	Einzelne Antwort oder Unterhaltung	Bestanden/Nicht bestanden (erfüllt die definierten Labelkriterien)	Name, Auswertungsanweisungen, Bezeichnungen

6. Bearbeite die Details der Testfälle. Alle Testmethoden mit Ausnahme der allgemeinen Qualität erfordern erwartete Antworten oder Schlüsselwörter. Erfahren Sie mehr zum Bearbeiten von Testfällen in Modify a Test Set.

7. Wählen Sie unter Zusätzliche KonfigurationVerwalten.

   

8. In Profil und Verbindungen verwalten wähle oder füge unter Benutzer das Konto hinzu, das du für diesen Datensatz verwenden möchtest. Die Bewertung nutzt dieses Konto, um während des Tests mit Wissensquellen und Werkzeugen zu verbinden. Erfahren Sie mehr unter Benutzerprofile und Verbindungen verwalten.

   Note

   Automatisiertes Testen verwendet die Authentifizierung des ausgewählten Testkontos. Wenn Ihr Agent über Wissensquellen oder Verbindungen verfügt, die eine spezielle Authentifizierung erfordern, wählen Sie das passende Konto für Ihre Tests aus. Wenn Copilot Studio Testfälle generiert, nutzt es die Authentifizierungsdaten eines verbundenen Kontos, um auf die Wissensquellen und Tools Ihres Agenten zuzugreifen. Generierte Testfälle können vertrauliche Daten enthalten, auf die das verbundene Konto zugreifen kann. Jeder Hersteller mit Zugriff auf den Agent kann auch die Testsätze anzeigen, die mit diesem Agent verknüpft sind.

9. Wählen Sie Speichern , um den Datensatz zu aktualisieren, ohne die Auswertung auszuführen, oder Ausführen , um den Datensatz sofort auszuführen.

Generiere einen einzigen Antwortdatensatz aus Wissen oder Themen

Sie können Ihren Makler testen, indem Sie Fragen aus den Informationen und Gesprächsquellen generieren, die Ihr Makler bereits hat. Diese Testmethode eignet sich gut, um zu testen, wie dein Agent bereits vorhandene Wissensquellen oder Themen nutzt, aber sie ist nicht geeignet, um Informationslücken zu testen.

Erstellen Sie Datenfälle unter Verwendung der folgenden Wissensquellen:

• Text

• Microsoft Word

• Microsoft Excel

• PDF-Dateien

• SharePoint-Dateien

Sie können Dateien bis zu 5 MB verwenden, um Testfragen zu generieren.

Um einen Datensatz zu generieren:

1. Gehe auf die Bewertungsseite deines Agenten .

2. Wählen Sie Neue Bewertung.

3. Wählen Sie im Umschalter die Option Generieren :

   

4. Wählen Sie unter Datentyp auswählen die Option Einzelantworten aus.

   • Wählen Sie Generierungsoptionen anzeigen aus, um die folgenden Einstellungen zu konfigurieren:

     

     1. Unter Anzahl der zu generierenden Fragen wähle und ziehe den Schieber, um die Anzahl der Fragen in deinem Testset zu bestimmen.
     2. Unter Was sollten wir als Referenz verwenden? Wählen Sie den Bereich aus, den Ihr Makler bei der Erstellung von Fragen für eine neue Bewertung referenzieren soll. Sie haben zwei Optionen:
        • Wissensquellen: Scannt das Wissen des Agenten, um einen relevanten Fragesatz zu erstellen. Wissen funktioniert am besten für Agenten, die generative Orchestrierung verwenden.
        • Themen: Überprüft die Themen des Agenten und erstellt Fragen zu diesen Themen. Am besten für Agenten, die den klassischen Modus nutzen. Topics funktioniert am besten für Agenten, die klassische Orchestrierung verwenden.

   

5. Wählen Sie Datensatz generieren.

6. Geben Sie unter Review-Datensatz die Details der Testfälle ein. Alle Testmethoden mit Ausnahme der allgemeinen Qualität erfordern erwartete Antworten oder Schlüsselwörter. Erfahren Sie mehr über das Bearbeiten von Testfällen in Modify a Test Set.

   

7. Wählen Sie unter Testmethoden auswählen oder ändern Sie die Testmethoden , die Sie verwenden möchten:

   • Um eine neue Methode hinzuzufügen:
     1. Wählen Sie Testmethode hinzufügen.
     2. Wählen Sie alle Methoden aus, mit denen Sie testen möchten, und wählen Sie dann OK. Du kannst mehrere Methoden hinzufügen.
     3. Für einige Methoden setzen Sie eine Bestehensquote und wählen Sie dann OK aus. Die Bestehensnote bestimmt, welche Punktzahl zu einem Bestehen oder Nichtbestehen führt.
     4. Einige Methoden erfordern, dass erwartete Antworten oder Schlüsselwörter für jeden Ihrer Testfälle hinzugefügt werden. Erfahren Sie mehr unter Choose Evaluation Methods.
   • Wählen Sie eine bestehende Testmethode zum Bearbeiten oder Löschen aus.

8. Wählen Sie unter Zusätzliche KonfigurationVerwalten.

   

9. In Profil und Verbindungen verwalten wähle oder füge unter Benutzer das Konto hinzu, das du für diesen Datensatz verwenden möchtest. Die Bewertung nutzt dieses Konto, um während des Tests mit Wissensquellen und Werkzeugen zu verbinden. Erfahren Sie mehr unter Benutzerprofile und Verbindungen verwalten.

   Note

   Automatisiertes Testen verwendet die Authentifizierung des ausgewählten Testkontos. Wenn Ihr Agent über Wissensquellen oder Verbindungen verfügt, die eine spezielle Authentifizierung erfordern, wählen Sie das passende Konto für Ihre Tests aus. Wenn Copilot Studio Testfälle generiert, nutzt es die Authentifizierungsdaten eines verbundenen Kontos, um auf die Wissensquellen und Tools Ihres Agenten zuzugreifen. Generierte Testfälle können vertrauliche Daten enthalten, auf die das verbundene Konto zugreifen kann. Jeder Hersteller mit Zugriff auf den Agent kann auch die Testsätze anzeigen, die mit diesem Agent verknüpft sind.

10. Wählen Sie Speichern , um den Datensatz zu aktualisieren, ohne die Auswertung auszuführen, oder Ausführen , um den Datensatz sofort auszuführen.

Einschränkung der Testfallgenerierung

Die Erstellung von Testfällen scheitert, wenn eine oder mehrere Fragen gegen die Inhaltsmoderationseinstellungen Ihres Agenten verstoßen. Mögliche Ursachen schließen ein:

• Die Anweisungen oder Themen des Agenten führen dazu, dass das Modell Inhalte generiert, die das System markiert.
• Die verbundene Wissensquelle enthält sensible oder eingeschränkte Inhalte.
• Die Inhaltsmoderationseinstellungen des Agenten sind zu streng.

Um das Problem zu lösen, probieren Sie verschiedene Maßnahmen aus, wie das Anpassen von Wissensquellen, das Aktualisieren von Anweisungen oder das Ändern der Moderationseinstellungen.

Ein Testsatz kann bis zu 100 Testfälle enthalten.

Erstellen Sie eine Testsatzdatei zum Importieren

Anstatt Ihre Testfälle direkt in Copilot Studio zu erstellen, können Sie eine Tabellenkalkulation mit allen Testfällen erstellen und importieren, um Ihr Testset zu erstellen. Du kannst jede Testfrage verfassen und die erwarteten Antworten für jede Frage angeben. Wenn Sie die Erstellung der Datei abgeschlossen haben, speichern Sie sie als .csv oder .txt Datei, und importieren Sie sie in Copilot Studio.

Zum Erstellen der Importdatei:

1. Öffnen Sie eine Tabellenkalkulationsanwendung (z. B. Microsoft Excel). Sie können eine CSV-Vorlage unter Oder eine Datei hochladen , nachdem Sie Neue Bewertung>Import ausgewählt haben. Sie können auch Kundensitzungen aus Analytics herunterladen, um sie in Excel zu bearbeiten.

2. Fügen Sie die folgenden Überschriften in dieser Reihenfolge in der ersten Zeile hinzu:

   • Question
   • Erwartete Antwort

3. Geben Sie Ihre Testfragen in der Spalte Frage ein. Jede Frage kann maximal 1.000 Zeichen lang sein, einschließlich Leerzeichen.

4. Geben Sie die erwarteten Antworten für jede Frage in der Spalte Erwartete Antwort ein. Erwartete Antworten sind optional zum Importieren eines Testsatzes. Sie benötigen jedoch erwartete Antworten, um Testfälle für Übereinstimmung, Ähnlichkeit und Bedeutungsvergleich auszuführen.

5. Speichern Sie die Datei als CSV- oder TXT-Datei.

6. Importiere die Datei, indem du den Schritten in Create a new test set folgst.

Erstellen Sie einen einzelnen Antwortdatensatz durch Import der Set-Datei

1. Gehe auf die Bewertungsseite deines Agenten .

2. Wählen Sie Neue Bewertung.

3. Wählen Sie unter Datentyp auswählen die Option Einzelantworten aus.

4. Wähle die Option Importieren im Umschalter aus.

   

5. Importieren Sie Daten, indem Sie den Vorschauchat auswählen, um Daten aus einer Ihrer aktuellen Vorschau-Chatsitzungen zu verwenden, oder indem Sie Testfälle aus einer CSV-Datei importieren, indem Sie Ihre Datei in den vorgesehenen Bereich ziehen oder nach der Auswahl "Datei ziehen" oder zum Hochladen (CSV) auswählen.

   

6. Bearbeiten Sie unter Review-Datensatz die Details der Testfälle. Alle Testmethoden mit Ausnahme der allgemeinen Qualität erfordern erwartete Antworten oder Schlüsselwörter. Erfahren Sie mehr unter Modifizieren eines Testsets.

7. Wählen Sie unter Testmethoden auswählen oder ändern Sie die Testmethoden , die Sie verwenden möchten:

   • Um eine neue Methode hinzuzufügen:
     1. Wählen Sie Testmethode hinzufügen.
     2. Wählen Sie alle Methoden aus, mit denen Sie testen möchten, und wählen Sie dann OK. Du kannst mehrere Methoden hinzufügen.
     3. Für einige Methoden setzen Sie eine Bestehensquote und wählen Sie dann OK aus. Die Bestehensnote bestimmt, welche Punktzahl zu einem Bestehen oder Nichtbestehen führt.
     4. Einige Methoden erfordern, dass erwartete Antworten oder Schlüsselwörter für jeden Ihrer Testfälle hinzugefügt werden. Erfahren Sie mehr unter Choose Evaluation Methods.
   • Wählen Sie eine bestehende Testmethode zum Bearbeiten oder Löschen aus.

8. Wählen Sie unter Zusätzliche KonfigurationVerwalten.

9. In Profil und Verbindungen verwalten unter Benutzer wählen oder fügen Sie das Konto hinzu, das Sie für diesen Datensatz verwenden möchten. Die Bewertung nutzt dieses Konto, um während des Tests mit Wissensquellen und Werkzeugen zu verbinden. Erfahren Sie mehr unter Benutzerprofile und Verbindungen verwalten.

10. Wählen Sie Speichern , um den Datensatz zu aktualisieren, ohne die Auswertung auszuführen, oder Ausführen , um den Datensatz sofort auszuführen.

Erstellen Sie ein Testset basierend auf einem Thema

Erstellen Sie ein Testset mit Fragen aus Gesprächen mit echten Nutzern. Diese Methode verwendet Themen (Vorschau), die in den Analysen Ihres Agenten zu finden sind.

Themen sind Gruppierungen von Fragen aus dem Pool der Benutzerfragen, die generative Antworten auslösen. Wenn Sie ein Testset mit einem Theme erstellen, erstellen Sie die Testfälle aus Fragen, die von Nutzern zu diesem Thema gestellt werden.

Nutzen Sie diese Testsets, um Bewertungen zu einem bestimmten Bereich oder Thema im Zuständigkeitsbereich Ihres Agenten durchzuführen. Wenn Sie zum Beispiel einen Kundenservice-Mitarbeiter haben, können Sie die Antwortqualität bei Abrechnungs- und Zahlungsfragen getrennt von anderen Anwendungsfällen wie Fehlerbehebung verfolgen.

1. Auf der Monitor-Seite Ihres Agenten gehen Sie zur Liste der Themen .

2. Fahre mit der Maus über ein Thema und wähle dann Evaluieren.

   

   Du kannst auch "Alles sehen " auswählen, um weitere Themen zu sehen, und dann Bewerten auswählen.

3. Wählen Sie Create and open (Erstellen und öffnen) aus.

4. Bearbeite die Details der Testsets und Fälle. Alle Testfälle, die Methoden verwenden, außer der allgemeinen Qualität, erfordern erwartete Antworten. Erfahren Sie mehr über das Bearbeiten in Modify a Test Set.

5. Wählen Sie Speichern , um das Testset zu aktualisieren, ohne die Testfälle auszuführen, oder Evaluieren , um das Testset sofort auszuführen.