Übersicht über Kosten und Tokennutzung des Agent-Optimierers

Der Agent-Optimierer im Foundry Agent Service bietet eine modellierte Kostenschätzung, bevor Sie einen Optimierungsauftrag übermitteln. Nachdem der Auftrag abgeschlossen ist, kann das Ergebnis eine gemessene Token-Nutzung enthalten. Verwenden Sie die Schätzung für die Planung und die gemessene Nutzung, um die Modellaktivität zu verstehen, die während der Ausführung aufgetreten ist.

Die Schätzung vor dem Lauf und die Token-Nutzung nach dem Lauf dienen unterschiedlichen Zwecken. Kein Wert ist ein Ausgabenlimit oder ein Ersatz für Ihre Azure Rechnung.

Kostenschätzung für Prompt-Agents vor der Ausführung

Bevor Sie im Foundry-Portal einen Optimierungsauftrag für Prompt-Agents erstellen, zeigt der Schritt „Überprüfen“ eine Kostenschätzung für die angeforderten Einstellungen an. Optimierungsflows für gehostete Agents zeigen diese Schätzung vor der Ausführung derzeit nicht an.

Die Schätzung prognostiziert Modellaufrufe und Tokengebühren. Das Anfordern einer Schätzung erstellt keinen Optimierungsauftrag oder ruft die Modelle auf. Die Anrufanzahl wird aus den Auftragseingaben berechnet. Die Währungswerte werden modelliert, indem statische Tokenannahmen und Referenzmodellpreise auf diese Anrufanzahl angewendet werden.

Das Portal zeigt drei modellierte Währungswerte an:

Die Zusammenfassung gibt die Anzahl der Kandidaten, die Anzahl der Datensatzzeilen, die Anzahl der Bewerter und das Datum des Referenzpreises an. Erweitern Sie Kostenaufschlüsselung (geschätzt), um jede Phase zu prüfen.

Eingaben für die Schätzung

Der Optimierer berechnet Anrufanzahlsbereiche aus der Konfiguration des aufgelösten Auftrags. Die Berechnung verwendet die folgenden Eingaben:

Bei einem referenzierten Dataset löst der Dienst seine Zeilenanzahl auf, bevor er eine Schätzung zurückgibt. Kann die Anzahl nicht leerer Zeilen nicht ermittelt werden, wird keine Schätzung auf Grundlage einer angenommenen Datensatzgröße erstellt.

Bei Durchläufen zur Modellauswahl werden in der Schätzung die Agentaufrufe für jedes Modell im Suchraum nicht separat bepreist. Es verwendet das konfigurierte Basis-Agent-Modell, wenn verfügbar. Wenn dieses Modell nicht aufgelöst werden kann, wird der Bewertungsmodellpreis für die Agentebene verwendet.

Statische Tokenannahmen

Die Schätzung trennt die Modellaktivität in Ebenen, sodass Sie sehen können, welcher Teil des Laufs zur Gesamtsumme beiträgt. Es verwendet die folgenden statischen Annahmen TokensPerCall :

Diese vom Dienst verwalteten Annahmen können sich ändern, wenn der Schätzer kalibriert wird. Für jede Ebene multipliziert der Optimierer den Bereich der Aufrufanzahl mit den statischen Annahmen für Aufforderungs- und Abschlusstoken. Es wendet dann datierte Referenzpreise pro eine Million Token an:

modeled layer cost = calls × ((prompt tokens × input price) + (completion tokens × output price)) / 1,000,000

Die Gesamtsumme ist die Summe der Ebenen, die bepreist werden können. Wenn ein Modellpreis oder eine Tokenannahme für eine Ebene nicht verfügbar ist, identifiziert die Schätzung die nicht berechnete Ebene und schließt sie aus der Summe aus.

Was während einer Optimierungsausführung geschieht

Um die Kostenebenen zu verstehen, hilft es, zu wissen, wie der Optimierer jedes Modell hinter den Kulissen verwendet. Ein Optimierungslauf folgt für Prompt-Agenten und gehostete Agenten dieser Schleife:

1. Bewerten Sie die Baseline (Agent + Bewerter). Der Optimierer ruft Ihren Agent in jeder Datasetzeile auf, um Antworten zu sammeln. Anschließend bewertet das Auswertungsmodell jede Antwort für jeden Evaluator, um Basiswerte festzulegen.
2. Generieren sie einen Kandidaten (Reflexion). Das Optimierungsmodell empfängt die Basiswerte, analysiert Schwachstellen und erzeugt eine verbesserte Agentkonfiguration. Je nach Agenttyp kann die Konfiguration umgeschriebene Anweisungen, verfeinerte Fähigkeiten, bessere Toolbeschreibungen oder ein anderes Modell umfassen.
3. Bewerten Sie den Kandidaten (Agent + Richter). Der Optimierer führt den Agent mit der Kandidatenkonfiguration in denselben Datasetzeilen aus und bewertet die Antworten.
4. Wiederholen. Die Schritte 2 bis 3 wiederholen sich für jeden weiteren Kandidaten. Jeder Zyklus fügt eine weitere Runde von Reflexions- und Auswertungsaufrufen hinzu.

Die drei Kostenebenen entsprechen direkt dieser Schleife:

• Ausführen Ihres Agents – jedes Mal, wenn der Agent für eine Datensatzzeile aufgerufen wird (Baseline und jeden Kandidaten).
• Bewertung von Antworten — jedes Mal, wenn das Eval-Modell eine Antwort anhand eines Evaluators beurteilt.
• Verbesserungen generieren – jedes Mal, wenn das Optimierungsmodell ergebnisse widerspiegelt und einen neuen Kandidaten erzeugt.

Durchgerechnetes Beispiel: 2-max-candidate run

Das folgende Beispiel zeigt, wie die Formel auf eine konkrete Auftragskonfiguration angewendet wird. Alle Preise sind nur zur Veranschaulichung vorgesehen.

Auftragseinstellungen:

Geschätzte Anrufanzahl:

Der Optimierer leitet die Anrufanzahl von der Auftragskonfiguration ab:

Anwenden der Formel auf jede Ebene:

Der Optimierer sucht die datierte Referenzeingabe- und Ausgabepreise für jedes Modell und wendet die Formel an. Die Agentebenenberechnung lautet beispielsweise:

60 × ((2,000 × <input price>) + (400 × <output price>)) / 1,000,000

Dasselbe Muster gilt für die Bewertungs- und Reflexionsebenen, wobei jede die Token-Annahmen und Referenzpreise für das jeweilige Modell nutzt. Das Portal summiert dann alle Ebenen, um die im Schritt "Überprüfen" angezeigten Werte "Minimum", "Estimated" und "Maximum" zu erzeugen.

Bei einer typischen 2-Kandidatenausführung trägt die Spiegelungsebene (Optimierungsmodell) den größten Anteil der geschätzten Kosten aus, da ein leistungsfähigeres Modell mit höheren Pro-Token-Raten verwendet wird. Die Beurteilungsebene ist in der Regel am kostengünstigsten, da sie ein kleineres Bewertungsmodell verwendet, bei dem pro Aufruf von einer geringen Tokenanzahl ausgegangen wird.

Annahmen und Einschränkungen bei der Schätzung

Die Schätzung ist eher ein Planungswert als ein endgültiger Betrag, da sie ein Budget für algorithmische Aufrufe mit modellierter Token-Nutzung kombiniert.

• Token-Annahmen sind Mittelwerte für jede Kostenebene. Die tatsächliche Anzahl von Aufforderungen, Antworten, Gründen und zwischengespeicherten Token variiert je nach Modell und Anforderung.
• Ein Optimierungsauftrag kann frühzeitig beendet werden, nachdem er keine weitere Verbesserung findet. Das frühe Beenden kann die tatsächliche Nutzung unter dem geschätzten oder maximalen Wert verringern.
• Die Agentverwendung variiert je nach Anweisungen, Unterhaltungswechsel, Antwortlänge, Toolanrufen und Toolausgabe.
• Referenzmodellpreise sind datiert und können sich von den Preisen für Ihr Abonnement, Ihre Region, den Bereitstellungstyp oder die Vereinbarung unterscheiden.
• Die Schätzung umfasst keine Gebühren von externen APIs, Datenbanken, Suchdiensten oder anderen Tools, die Ihr Agent aufruft.
• Der Maximalwert ist kein Ausgabenlimit.

Nach der Ausführung gemessene Tokennutzung

Wenn ein Optimierungsauftrag abgeschlossen ist, kann sein Ergebnis die gemessene Tokenverwendung für jede Phase der Ausführung enthalten. Die Ansicht „Token-Nutzung“ kann sowohl für Ausführungen von Prompt-Agents als auch von Hosted-Agents verfügbar sein.

Bei gehosteten Agents ist Ausführen Ihres Agents nur verfügbar, wenn das Bewertungsbeispiel oder die Ablaufverfolgung des Agents Tokennutzungsinformationen enthält. Wenn der gehostete Agent keine Nutzungsdaten meldet, lässt das Portal die Agentphase weg, anstatt sie mit null anzuzeigen. Das Portal erfasst die Nutzung von Bewertungsantworten und Verbesserungen generieren separat, wenn diese Modellaufrufe Nutzungsdaten melden.

Die Ansicht kann mehrere Zeilen für das Ausführen des Agents enthalten, wenn der Optimierer mehrere Agentmodelle auswertet.

Das Portal berechnet geschätzte Kosten auf Grundlage der gemessenen Tokennutzung und der Referenzmodellpreise. Wählen Sie "Preise anzeigen" aus, um die Preisquelle zu überprüfen. Die Schätzung ist nicht der endgültige in Rechnung gestellte Betrag.

Ein fehlender Phase- oder Tokenwert bedeutet, dass die Verwendung nicht gemessen wurde. Das bedeutet nicht, dass die Phase keine Token verwendet hat oder keine Kosten angefallen sind. Einige gehostete Agenten und ältere Optimierungsaufträge stellen möglicherweise keine Nutzung von Agenten bereit.

Das Ergebnis des zugrunde liegenden Jobs kann weitere Details zu zwischengespeicherten Token und Schlussfolgerungs-Token enthalten. Zwischengespeicherte Token sind eine Teilmenge von Eingabetoken, und Begründungstoken sind eine Teilmenge von Ausgabetoken. Fügen Sie diese Teilmengewerte nicht zu den Eingabe- oder Ausgabesummen hinzu.

Berechnen der Modellkosten aus gemessener Nutzung

Die gemessene Tokennutzung ist repräsentativer als die vorab ausgeführten Annahmen, meldet jedoch die Tokenanzahl und nicht den endgültigen abgerechneten Betrag. Wenden Sie die Preise für jede Modellzeile an, um die Modellkosten anzunähern:

approximate model cost = ((input tokens × input price) + (output tokens × output price)) / 1,000,000

Wenn eine detaillierte Nutzungsaufstellung eine Anzahl zwischengespeicherter Token enthält und das Modell über einen separaten Tarif für zwischengespeicherte Eingaben verfügt, ziehen Sie die zwischengespeicherten Token von der Gesamtzahl der Eingabe-Token ab und berechnen Sie die Preise für die zwischengespeicherten und nicht zwischengespeicherten Anteile getrennt.

Berechnen Sie jede Phase und Modellzeile separat, und fügen Sie dann die Ergebnisse hinzu. Wenn eine Zeile kein Modell identifiziert, können Sie einen bereitstellungsspezifischen Preis nicht zuverlässig auf diese Nutzung anwenden.

Verwenden Sie die Preise, die für Ihr Abonnement, Ihre Region, Ihren Bereitstellungstyp und ihren Abrechnungsvertrag gelten. Die veröffentlichten Preise finden Sie unter Azure OpenAI Service Preise. Das Ergebnis schließt weiterhin Gebühren von externen Tools und Diensten aus.

Verwandte Inhalte

• Übersicht über den Agent-Optimierer
• Schnellstart: Optimieren Sie einen Prompt-Agenten
• Schnellstart: Optimieren eines gehosteten Agents