Schnellstart: Einen Prompt-Agent optimieren (Vorschau)

Verwenden Sie in dieser Schnellstartanleitung den Optimierungs-Assistenten im Foundry-Portal, um die Anweisungen eines Prompt-Agenten, die Beschreibungen der Funktionsaufruf-Tools und die Modellauswahl zu verbessern. Wählen Sie eine Agentversion, einen Datensatz und Auswerter aus, führen Sie den Optimierer aus und vergleichen Sie die generierten Kandidaten mit der Baseline.

Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen.

Voraussetzungen

Bevor Sie beginnen, benötigen Sie Folgendes:

• Ein Microsoft Foundry-Projekt mit einem bereitgestellten Prompt-Agent. Informationen zum Erstellen finden Sie in der Schnellstartanleitung: Erstellen eines Eingabeaufforderungs-Agents.
• Ein Auswertungsmodell und ein unterstütztes Optimierungsmodell, das im Projekt bereitgestellt wird. Unterstützte Modelle finden Sie unter "Modelle".
• Eine Datenquelle: Agentenablaufprotokolle, ein im Projekt registrierter Evaluierungsdatensatz oder ein JSONL-Datensatz zum Hochladen. Der Datensatz muss die Spaltennamen verwenden, die von den ausgewählten Auswertern benötigt werden, da der Assistent die Spaltenzuordnung nicht unterstützt.

Öffnen Sie den Optimierungs-Assistenten

1. Wechseln Sie zum Foundry-Portal , und öffnen Sie Ihr Projekt.
2. Wählen Sie Agents aus, und wählen Sie dann den Eingabeaufforderungs-Agent aus, den Sie optimieren möchten.
3. Wählen Sie die Registerkarte "Optimieren" aus .
4. Wählen Sie Optimierungslauf erstellen aus.

Auswählen des Optimierungsziels

Das Ziel definiert die zu bewertende Prompt-Agent-Version und Kandidatenmodelle.

1. Wählen Sie im Schritt Target die Agent-Version aus, die als Grundlage verwendet werden soll. Die neueste Version ist standardmäßig ausgewählt.
2. Wählen Sie das Optimierungsmodell, die maximale Anzahl von Kandidaten und das Auswertungsmodell aus.
3. Um Kandidaten für mehrere Modellbereitstellungen auszuwerten, aktivieren Sie " Modelle vergleichen", und wählen Sie dann die einzuschließden Modelle aus.
4. Fahren Sie mit dem Schritt Dataset fort.

Der Optimierer kann Kandidaten generieren, die die Anweisungen des Agents, Beschreibungen des Funktionsaufruftools oder die Modellauswahl verbessern. Andere Tooltypen werden für die Optimierung der Toolbeschreibung nicht unterstützt.

Auswählen eines Auswertungsdatensatzes

Der Optimierer verwendet denselben Datensatz, um die Baseline und jeden generierten Kandidaten zu bewerten.

1. Wählen Sie im Datasetschritt eine der folgenden Optionen aus:

   • Generieren Sie einen Datensatz aus Agentablaufverfolgungen.
   • Wählen Sie ein vorhandenes Dataset aus, das im Projekt registriert ist.
   • Laden Sie ein neues Dataset von Ihrem Gerät hoch.

2. Zeigen Sie eine Vorschau des Datasets an, und vergewissern Sie sich, dass es die spalten enthält, die von Ihren Evaluatoren benötigt werden.

3. Fahren Sie mit dem Schritt "Kriterien " fort.

Verwenden Sie repräsentative Aufgaben, einschließlich allgemeiner Anforderungen, Edgefälle und Verhaltensweisen, die der Optimierer beibehalten oder verbessern soll.

Bewertungskriterien auswählen

Evaluatoren definieren, wie der Optimierer jede Antwort bewertet.

1. Wählen Sie im Schritt Kriterien einen oder mehrere Auswertende aus:

   • Wählen Sie integrierte Auswertungen aus, und konfigurieren Sie alle erforderlichen Parameter.
   • Wählen Sie einen vorhandenen benutzerdefinierten Evaluator aus.
   • Erstellen Sie einen benutzerdefinierten Rubrikauswerter und wählen Sie ihn dann aus.

2. Vergewissern Sie sich, dass jeder Evaluator mit dem Datasetschema kompatibel ist.

3. Fahren Sie mit dem Schritt "Überprüfen" fort.

Überprüfen und übermitteln Sie die Ausführung.

1. Überprüfen Sie im Schritt "Überprüfen " den Agent und die Version, das Dataset, die Bewerter, die Bewertungskonfigurationen und die Kandidatenmodelle.

   Note

   Die geschätzten Kosten stellen einen modellierten Bereich dar, keine Ausgabenobergrenze und keinen endgültigen Betrag. Überprüfen Sie die Berechnungseingaben, Preisannahmen und Ausschlüsse, bevor Sie den Auftrag übermitteln. Ausführliche Informationen finden Sie unter Kostenschätzungen und Tokennutzung des Agent-Optimierers.

   Die Zusammenfassung zeigt die Werte "Minimum", " Estimated" und "Maximum ". Klappen Sie Kostenaufschlüsselung (geschätzt) auf, um die geschätzten Aufrufe und Kosten für das Ausführen Ihres Agents, das Bewerten von Antworten und das Generieren von Verbesserungen zu prüfen.

2. Wählen Sie "Absenden" aus.

3. Warten Sie, bis die Optimierung abgeschlossen ist. Die Ausführung wird in der Liste "Optimierungsläufe " mit dem aktuellen Status angezeigt.

Die Laufzeit hängt von der Datasetgröße, der Anzahl der Kandidaten und ausgewählten Modellen ab.

Vergleichen der Ergebnisse

1. Wenn die Ausführung erfolgreich ausgeführt wird, wählen Sie sie unter "Optimierung" aus.
2. Vergleichen Sie die Bewertung der einzelnen Kandidaten mit dem Basiswert.
3. Überprüfen Sie die Änderungen vor und nach der Anweisung.
4. Überprüfen Sie die Bewertungen pro Evaluator, und vergleichen Sie die Ergebnisse für jedes Modell, wenn Sie mehrere Modelle ausgewählt haben.
5. Wählen Sie den Kandidaten aus, der eine sinnvolle Qualitätsverbesserung ohne eine inakzeptable Erhöhung der Tokennutzung oder -kosten bietet.

Die Tokenverwendungsansicht der abgeschlossenen Ausführung gruppiert gemessene Eingabe-, Ausgabe- und Gesamttoken nach Phase und Modell. Es gibt die Anzahl der Tokens statt eines endgültigen Betrags in einer Währung an. Ein fehlender Modell- oder Verwendungswert bedeutet, dass die Verwendung nicht zugeschrieben oder gemessen wurde und nicht, dass sie frei war. Weitere Informationen finden Sie unter Nach der Ausführung gemessene Token-Nutzung.

Wenn alle Kandidatenergebnisse niedriger als der Basiswert sind, behalten Sie den aktuellen Agent bei. Überarbeiten Sie das Dataset, die Auswertungseinstellungen oder die Optimierungseinstellungen, bevor Sie den Optimierer erneut ausführen.

Bewerben eines Kandidaten

Stufen Sie den ausgewählten Kandidaten hoch, um eine neue Version des Prompt-Agenten zu erstellen.

1. Wählen Sie auf der Seite „Abgeschlossene Ausführung” die Option Kandidat höherstufen aus.
2. Wählen Sie in Kandidat als neue Agentversion höherstufen den höherzustufenden Kandidaten aus.
3. Überprüfen Sie die aktuelle aktive Version und die Verbesserung des Scores des ausgewählten Kandidaten gegenüber der Baseline.
4. Wählen Sie Zur Agent-Version heraufstufen aus.

Die Höherstufung erzeugt eine neue Agent-Version mit der optimierten Konfiguration des Kandidaten. Wenn der Agent auf eine bestimmte Version fixiert ist, erhält die neue Version keinen Traffic, bis Sie sie in den Details des Agenten als aktive Version festlegen.

Was Sie gelernt haben

In dieser Schnellstartanleitung führen Sie die folgenden Schritte aus:

• Eine Ausführung einer Prompt-Agent-Optimierung wurde im Foundry-Portal gestartet.
• Datensatz, Auswerter und Kandidatenmodelle ausgewählt.
• Verglich optimierte Kandidaten mit der Baseline des Prompt-Agenten.
• Der ausgewählte Kandidat wurde auf eine neue Prompt-Agent-Version heraufgestuft.

Verwandte Inhalte

• Übersicht über den Agent-Optimierer
• Kostenschätzungen und Tokennutzung für Agentoptimierer
• Schnellstart: Optimieren eines gehosteten Agents
• Konvertieren Sie Ablaufverfolgungen von Agenten in Evaluierungsdatensätze