EvaluatorGenerationInputs interface

Optionale, menschenfreundliche Beschreibung für den resultierenden Evaluator. Tauchte auf wie EvaluatorVersion.description auf dem persistierten Prüfer. Typischerweise aus der Benutzeroberfläche zusammen mit evaluator_display_name. Das evaluator_ Präfix trennt dies von anderen Beschreibungsfeldern verwandter Modelle.

Optionaler menschenfreundlicher Anzeigename für den resultierenden Evaluator. Tauchte auf wie EvaluatorVersion.display_name auf dem persistierten Prüfer. Wenn der Dienst weggelassen wird, wird er als Anzeigename verwendet evaluator_name . Das evaluator_ Präfix trennt dies von der unveränderlichen evaluator_name Kennung.

Der Name des Bewerters (unveränderlicher Kenner). 1–256 Zeichen; erlaubte Zeichen sind ASCII-Buchstaben, Ziffern, Unterstrich (_), Punkt (.), Tilde (~) und Bindestrich (-). Das Präfix builtin. ist systemverwalteten Evaluatoren vorbehalten und wird vom Dienst abgelehnt. Wenn ein Evaluator mit diesem Namen bereits im Projekt existiert (und ein Rubrik-Subtyp ist), erstellt der Dienst eine neue Version unter demselben Namen und nutzt dimensions die der vorherigen Versionen als Kontext für inkrementelle Verbesserungen (Grundlage der adaptiven Post-//Build-Schleife). Alte Versionen bleiben über get_version(name, version)abfragbar. Ist der bestehende Evaluator kein Bewertungs-Subtyp-Evaluator (eingebaut, promptbasiert, codebasiert), wird die Anfrage mit 400 Bad Requestabgelehnt.

Das LLM-Modell zur Verwendung für die Rubrikgenerierung (z. B. 'gpt-4o'). Erforderlich – Nutzer müssen ihr eigenes Modell bereitstellen, anstatt auf diensteigene Kapazitäten angewiesen zu sein.

Quellmaterialien zur Erstellung – Agentenbeschreibungen, Prompts, Traces oder Datensätze. Jeder Eintrag ist eine EvaluatorGenerationJobSource Variante, die durch diskriminiert wird type.