Einrichtung der menschlichen Auswertung für Ihre Agenten (Vorschau)

In diesem Artikel wird erläutert, wie Sie die menschliche Auswertung für Ihren Foundry-Agenten einrichten. Als Agent-Generator definieren Sie Auswertungsfragevorlagen, die sich auf wichtige Aspekte von Interesse konzentrieren. Menschliche Prüfer – Peers, Data Scientists oder Mitglieder des Compliance-Teams – füllen diese Vorlagen für jede Antwort des Agenten in der Vorschauerfahrung des Agenten aus. Nachdem Prüfer ihre Auswertungen eingereicht haben, können Sie die Ergebnisse direkt aus dem Foundry-Portal zur weiteren Analyse anzeigen und herunterladen.

Voraussetzungen

• Ein Foundry-Projekt mit einem oder mehreren Agenten.

• Application Insights ist für Ihr Projekt konfiguriert.

• Foundry-Projektmanager-Rolle (oder höher) im Foundry-Projekt, um Bewertungsvorlagen zu erstellen und zu verwalten. Weitere Informationen finden Sie unter Role-basierte Zugriffssteuerung in Microsoft Foundry.

  Wichtig

  Die Foundry-RBAC-Rollen wurden kürzlich umbenannt. Foundry User, Foundry Owner, Foundry Account Owner und Foundry Project Manager wurden zuvor Azure KI-Benutzer, Azure KI-Besitzer, Azure KI-Kontobesitzer und Azure AI Project Manager benannt. Möglicherweise werden die vorherigen Namen an einigen Stellen weiterhin angezeigt, während der Umbenennungsrollout ausgeführt wird. Die Rollen-IDs und Kernberechtigungen bleiben durch die Umbenennung unverändert.

• Für menschliche Prüfer: Rolle "Foundry User " (Minimum) für das Foundry-Projekt und " Reader " auf dem Konto, um auf die Vorschau-Web-App zuzugreifen und Feedback zu übermitteln.

Erstellen einer Vorlage für die menschliche Auswertung

Um die menschliche Auswertung Ihres Foundry-Agenten zu beginnen, definieren Sie eine Vorlage, die die Gruppe von Fragen enthält, die menschliche Prüfer basierend auf den Antworten des Agenten vervollständigen sollen.

1. Wählen Sie den Agent aus, den Sie aus der Agent-Tabelle auf der Registerkarte "Agents " auswerten möchten.

2. Wechseln Sie zur Registerkarte "Menschliche Bewertung " unter "Auswertung".

3. Wählen Sie " Neue Vorlage erstellen" aus, um den Erstellungsprozess der Vorlage zu starten.

4. Weisen Sie im Popup " Human Evaluation Template erstellen " einen Namen und eine Beschreibung zu, bearbeiten oder löschen Sie Beispielfragen, und fügen Sie neue Fragen basierend auf Ihren Bewertungszielen hinzu. Zu den unterstützten Fragetypen gehören Daumen nach oben/unten, Schieberegler, Mehrfachauswahl und Freiformtext.

   Tipp

   Beispielfragen nach Typ:

   • Daumen nach oben/unten: "War diese Antwort korrekt?"
   • Schieberegler (1–5): "Bewerten Sie die Hilfreichkeit dieser Antwort."
   • Mehrfachauswahl: "Was beschreibt diese Antwort am besten? (Richtig / Teilweise richtig / Falsch)"
   • Freiformtext: "Welcher zusätzliche Kontext hätte diese Antwort verbessert?"

5. Nachdem Sie die Vorlage konfiguriert haben, wählen Sie "Erstellen" aus, um sie abzuschließen.

Die neue Vorlage wird in der Vorlagentabelle mit inaktiven Status angezeigt. Aktivieren Sie sie, bevor prüfer mit der Auswertung beginnen.

Verwalten Ihrer Auswertungsvorlagen

Sie können mehrere Auswertungsvorlagen basierend auf Ihren Bewertungsanforderungen erstellen. Mit der Vorlagentabelle können Sie Vorlagen als aktiv oder inaktiv bearbeiten, löschen und festlegen.

• Wählen Sie " Bearbeiten" in der Vorlagentabelle aus, um eine Vorlage zu aktualisieren. Die Vorlage wird in einem bearbeitbaren Popup geöffnet.
• Wählen Sie "Löschen " aus, um eine Vorlage zu entfernen.

  Hinweis

  Nach dem Löschen können Sie die Vorlage und die zugehörigen Auswertungsergebnisse nicht mehr aus dem Portal abrufen.

• Wenn Sie eine Vorlage als aktiv festlegen möchten, wählen Sie "Als aktiv festlegen" in der Vorlagentabelle aus. Es kann jeweils nur eine Vorlage aktiv sein. Durch aktivieren einer neuen Vorlage wird die vorherige automatisch deaktiviert. Wählen Sie "Als inaktiv festlegen" aus, um die Erfassung von menschlichen Auswertungsergebnissen für die aktuelle Vorlage zu beenden.

Durchführen einer menschlichen Bewertung

Nachdem Sie die Auswertungsvorlage konfiguriert und als aktiv für den Ziel-Agent festgelegt haben, können die Prüfer ihre Auswertung über die Vorschau-Web-App starten. Diese Web-App ist eine browserbasierte Chatschnittstelle, die direkt vom Agent-Generator gestartet wird.

1. Wählen Sie in der oberen rechten Ecke des Agent-Generators die Option "Vorschau" aus, um den Agent in einer browserbasierten Chatoberfläche zu öffnen.
2. Geben Sie Eingabe ein, und wählen Sie "Senden" aus, um eine Agentausführung auszulösen.
3. Nachdem der Agent geantwortet hat, wählen Sie die Schaltfläche "Feedback " aus, um eine menschliche Auswertung für diese Antwort bereitzustellen.
   • Ein seitliches Panel wird angezeigt, in dem die aktive Auswertungsvorlage angezeigt wird.
   • Prüfer können einige oder alle Fragen im Formular beantworten.
4. Wählen Sie "Speichern" aus, um die Auswertungsdaten zu speichern, oder "Abbrechen ", um sie zu verwerfen.
5. Setzen Sie die Auswertung zusätzlicher Antworten fort, indem Sie neue Eingaben eingeben oder zu vorherigen Antworten navigieren.
   • Prüfer können Auswertungen für bestimmte Antworten überspringen oder mehrere Auswertungen für dieselbe Antwort übermitteln.

Agent-Generatoren können gespeicherte Auswertungen für jede Agentantwort im Abschnitt "Auswertungsergebnisse " anzeigen.

Überprüfen der Ergebnisse der menschlichen Bewertung

Nachdem die menschlichen Prüfer ihre Auswertungen abgeschlossen haben, können Agenten-Generatoren die Ergebnisse zur weiteren Analyse über das Foundry-Portal in der Vorschau anzeigen und herunterladen.

1. Navigieren Sie auf der Registerkarte " Menschliche Auswertung " zur Vorlagentabelle, und wählen Sie die Vorlage aus, für die Sie Ergebnisse überprüfen möchten.
2. Alle entsprechenden Auswertungsergebnisse werden im Abschnitt "Auswertungsergebnisse " angezeigt. Jede Instanz wird mit ihrem Zeitstempel als Referenz angezeigt.
3. Wählen Sie eine Auswertungsinstanz aus, um ihre JSON-Zusammenfassung im JSON-Ausgabeabschnitt anzuzeigen. Der JSON-Code umfasst:
   • Zeitstempel
   • Benutzeraufforderung
   • Agentantwort
   • Fragen aus der Auswertungsvorlage
   • Antworten des Prüfers
4. Um alle Auswertungsergebnisse für eine Vorlage herunterzuladen, wählen Sie "Ergebnisse herunterladen" aus. Die Ergebnisse werden als CSV-Datei exportiert, die alle Informationen aus der JSON-Ansicht für jede Auswertungsinstanz enthält.

Die heruntergeladene CSV enthält eine Zeile pro Auswertungsinstanz mit Spalten für jedes Feld aus der JSON-Ansicht.

Verwandte Inhalte

• Bewerten Sie Ihre KI-Agenten
• Übersicht über die Agent-Ablaufverfolgung
• Behandeln von Bewertungs- und Beobachtbarkeitsproblemen