EvaluatorGenerationJob interface
Evaluator Generation Job Resource – ein langjähriger Job, der bewertungsbasierte Bewertungsdefinitionen aus Quellmaterialien generiert. Nach Erfolg ist das Ergebnis die persistente EvaluatorVersion.
Eigenschaften
| created_at | Der Zeitstempel, als der Job erstellt wurde, wird in Unix-Zeit dargestellt (Sekunden seit dem 1. Januar 1970). |
| error | Fehlerdetails – nur bei Fehlern ausgefüllt. |
| evaluator_description | Optionale, menschenfreundliche Beschreibung für den resultierenden Evaluator. Tauchte auf wie |
| evaluator_display_name | Optionaler menschenfreundlicher Anzeigename für den resultierenden Evaluator. Tauchte auf wie |
| evaluator_name | Der Name des Bewerters (unveränderlicher Kenner). 1–256 Zeichen; erlaubte Zeichen sind ASCII-Buchstaben, Ziffern, Unterstrich ( |
| finished_at | Der Zeitstempel, als der Auftrag abgeschlossen wurde, wird in Unix-Zeit dargestellt (Sekunden seit dem 1. Januar 1970). |
| id | Server-zugewiesene eindeutige Kennung. |
| input_quality_warnings | Nicht tödliche Input-Qualitätshinweise, die von der Erzeugungspipeline erzeugt werden. Schreibgeschützt; dienstgeneriert; Nur bei Terminaljobs besetzt, wenn die Advisories ausgelöst wurden. Weggelassen, als die Generation sauber war. Es wird gelöscht, wenn ein Follower |
| model | Das LLM-Modell zur Verwendung für die Rubrikgenerierung (z. B. 'gpt-4o'). Erforderlich – Nutzer müssen ihr eigenes Modell bereitstellen, anstatt auf diensteigene Kapazitäten angewiesen zu sein. |
| result | Das Ergebnis ergibt sich durch Erfolg. |
| sources | Quellmaterialien zur Erstellung – Agentenbeschreibungen, Prompts, Traces oder Datensätze. Jeder Eintrag ist eine |
| status | Aktueller Lebenszyklusstatus. |
| usage | Zusammenfassung des Token-Konsums. Wird besetzt, wenn der Job einen terminalen Zustand erreicht. |
Details zur Eigenschaft
created_at
Der Zeitstempel, als der Job erstellt wurde, wird in Unix-Zeit dargestellt (Sekunden seit dem 1. Januar 1970).
created_at?: DateEigenschaftswert
Date
error
evaluator_description
Optionale, menschenfreundliche Beschreibung für den resultierenden Evaluator. Tauchte auf wie EvaluatorVersion.description auf dem persistierten Prüfer. Typischerweise aus der Benutzeroberfläche zusammen mit evaluator_display_name. Das evaluator_ Präfix trennt dies von anderen Beschreibungsfeldern verwandter Modelle.
evaluator_description?: stringEigenschaftswert
string
evaluator_display_name
Optionaler menschenfreundlicher Anzeigename für den resultierenden Evaluator. Tauchte auf wie EvaluatorVersion.display_name auf dem persistierten Prüfer. Wenn der Dienst weggelassen wird, wird er als Anzeigename verwendet evaluator_name . Das evaluator_ Präfix trennt dies von der unveränderlichen evaluator_name Kennung.
evaluator_display_name?: stringEigenschaftswert
string
evaluator_name
Der Name des Bewerters (unveränderlicher Kenner). 1–256 Zeichen; erlaubte Zeichen sind ASCII-Buchstaben, Ziffern, Unterstrich (_), Punkt (.), Tilde (~) und Bindestrich (-). Das Präfix builtin. ist systemverwalteten Evaluatoren vorbehalten und wird vom Dienst abgelehnt. Wenn ein Evaluator mit diesem Namen bereits im Projekt existiert (und ein Rubrik-Subtyp ist), erstellt der Dienst eine neue Version unter demselben Namen und nutzt dimensions die der vorherigen Versionen als Kontext für inkrementelle Verbesserungen (Grundlage der adaptiven Post-//Build-Schleife). Alte Versionen bleiben über get_version(name, version)abfragbar. Ist der bestehende Evaluator kein Bewertungs-Subtyp-Evaluator (eingebaut, promptbasiert, codebasiert), wird die Anfrage mit 400 Bad Requestabgelehnt.
evaluator_name: stringEigenschaftswert
string
finished_at
Der Zeitstempel, als der Auftrag abgeschlossen wurde, wird in Unix-Zeit dargestellt (Sekunden seit dem 1. Januar 1970).
finished_at?: DateEigenschaftswert
Date
id
Server-zugewiesene eindeutige Kennung.
id?: stringEigenschaftswert
string
input_quality_warnings
Nicht tödliche Input-Qualitätshinweise, die von der Erzeugungspipeline erzeugt werden. Schreibgeschützt; dienstgeneriert; Nur bei Terminaljobs besetzt, wenn die Advisories ausgelöst wurden. Weggelassen, als die Generation sauber war. Es wird gelöscht, wenn ein Follower PATCH auf das Pairing EvaluatorVersion.definition die Advisories ungültig macht.
input_quality_warnings?: RubricGenerationInputQualityWarning[]Eigenschaftswert
model
Das LLM-Modell zur Verwendung für die Rubrikgenerierung (z. B. 'gpt-4o'). Erforderlich – Nutzer müssen ihr eigenes Modell bereitstellen, anstatt auf diensteigene Kapazitäten angewiesen zu sein.
model: stringEigenschaftswert
string
result
sources
Quellmaterialien zur Erstellung – Agentenbeschreibungen, Prompts, Traces oder Datensätze. Jeder Eintrag ist eine EvaluatorGenerationJobSource Variante, die durch diskriminiert wird type.
sources: EvaluatorGenerationJobSourceUnion[]Eigenschaftswert
status
usage
Zusammenfassung des Token-Konsums. Wird besetzt, wenn der Job einen terminalen Zustand erreicht.
usage?: EvaluatorGenerationTokenUsage