Modellrouter für Ihre Workloads bewerten

Anwendungsoptimierung ist wie Bergsteigen. Es beginnt mit einem Basisplan, misst die Ergebnisse, die wichtig sind, ändert einen Hebel und behält die Änderung nur bei, wenn sie Ihre Arbeitsauslastung näher an ihre Qualität, Kosten, Latenz und Richtlinienanforderungen verschiebt.

Die Modellauswahl kann diesen Prozess langsam machen. Modellrouter verkürzt diese Reise. Die Auswertung zeigt, ob dies Ihren Arbeitsaufwand zugute bringt. Außerdem können Sie entscheiden, ob sie den Routingmodus anpassen, die Modelluntermenge einschränken oder eine direkte Modellbereitstellung für bestimmte Anforderungen beibehalten möchten.

Tip

Verwenden Sie das Model Router Auto Evaluation Toolkit , um den Vergleich zu automatisieren. Überprüfen Sie die Bewertungsmethode des Toolkits, um zu verstehen, wie die Ergebnisse berechnet und aggregiert werden.

Voraussetzungen

  • Eine Modell-Router-Bereitstellung. Informationen zum Erstellen eines Routers finden Sie unter Verwenden des Modellrouters.
  • Eine Basismodellbereitstellung, die Ihre aktuelle Lösung oder ein anderes Modell darstellt, das Sie vergleichen möchten.
  • Eine Auswahl repräsentativer Prompts aus Ihrer Arbeitslast. Entfernen Sie geheime Schlüssel, personenbezogene Daten und andere vertrauliche Informationen, bevor Sie Produktionsaufforderungen verwenden.
  • Für die automatisierte Qualitätsbewertung wird eine Bewertungsmodellimplementierung durchgeführt, die die Anforderungen im Schnellstart des Toolkits erfüllt.

Definieren der Bereitstellungsentscheidung

Bevor Sie Bereitstellungen vergleichen, bestimmen Sie, welche Entscheidung durch die Ergebnisse gestützt werden soll. Sie können z. B. entscheiden, ob eine direkte Modellbereitstellung ersetzt werden soll, welcher Routingmodus verwendet werden soll oder welche Modelle Ihr Routingpool enthalten soll.

Arbeitsauslastungsspezifische Akzeptanzkriterien bieten eine nützlichere Grundlage für diese Entscheidung als ein allgemeiner Passschwellenwert. Berücksichtigen Sie die folgenden Dimensionen:

Dimension Berücksichtigen Sie ihre Arbeitsauslastung
Quality Die minimale akzeptable Antwortbewertung oder -gewinnrate, einschließlich Anforderungen an Genauigkeit, Vollständigkeit, Klarheit und Hilfreichkeit.
Cost Die maximalen geschätzten Kosten pro Anforderung oder die minimalen Einsparungen relativ zum Basisplan.
Latency Die akzeptable Median- und Taillatenz, z. B. p90 oder p95, für die Benutzererfahrung.
Policy Die Modelle, Regionen und Bereitstellungskonfigurationen, die Ihre Organisation zulässt.

Der akzeptable Kompromiss hängt von der Anwendung ab. Ein Klassifizierungs-Workload mit hohem Volumen kann im Gegenzug für geringere Kosten einen kleinen Qualitätsunterschied tolerieren. Eine Arbeitsauslastung, die Empfehlungen mit hohem Einfluss erzeugt, kann eine gleichwertige oder bessere Qualität erfordern, bevor Kosteneinsparungen anfallen.

Entwerfen eines fairen Arbeitsauslastungsvergleichs

Bewerten Sie die Konfiguration, die Sie in der Produktion verwenden möchten. Der ausgewogene Modus und der vollständig unterstützte Modellsatz sind hilfreiche Ausgangspunkte, es sei denn, Richtlinien, regionale Verfügbarkeit oder Workloadanforderungen rufen eine andere Konfiguration auf.

Die folgenden Methoden helfen dabei, den Vergleich nützlich zu machen:

  • Verwenden Sie einen aussagekräftigen Basisplan. Vergleichen Sie den Modellrouter mit dem Modell, das den Workload derzeit bedient, oder mit dem direkten Deployment, das Sie andernfalls verwenden würden.
  • Zeigt den Datenverkehrsmix an. Berücksichtigen Sie häufige Anfragen, schwierige Randfälle, lange Eingaben und Aufgaben mit großer Wirkung. Gruppenaufforderungen nach Workloadkategorie, sodass ein Aggregatergebnis keine kategoriespezifische Regression ausblendet.
  • Halten Sie die Anwendungskonfiguration konsistent. Verwenden Sie dieselben Eingabeaufforderungen, Systemanweisungen, Ausgabegrenzwerte und Anwendungsverarbeitung, bei denen Modellfunktionen zulässig sind. Andernfalls könnte ein Konfigurationsunterschied wie ein Routingeffekt aussehen.
  • Plan für die menschliche Überprüfung. Automatisierte Bewertungen sind Schätzungen. Qualifizierte Prüfer sollten hohe Auswirkungen, regulierte oder domänenspezifische Ergebnisse und Fälle prüfen, in denen der Vergleich nicht eindeutig ist.
  • Behandeln Sie kleine oder unausgewogene Proben vorsichtig. Fügen Sie repräsentative Eingabeaufforderungen hinzu, wenn wichtige Kategorien zu wenige Beispiele enthalten oder Ergebnisse unsicher bleiben.

Aktuelle Anleitungen zur Vorbereitung von Eingabeschemas und Datasets finden Sie unter Erstellen eines benutzerdefinierten Auswertungsdatensatzes.

Ausführen eines Vergleichs

Um Ihre Bereitstellungen zu konfigurieren und den Vergleich auszuführen, folgen Sie der Schnellstartanleitung des Toolkits. Sie können den Bericht mit simulierten Daten untersuchen, bevor Sie Ihre Bereitstellungen verbinden.

Verwenden Sie die Repositoryanleitung als Quelle der Wahrheit für aktuelle Befehle, Eingabeformate, Bewertungsverhalten, statistische Methoden, Preisberechnungen und Berichtsfelder. Ausführliche Informationen dazu, warum das Toolkit seine Ergebnisse wie auch immer berechnet, finden Sie in der Bewertungsmethode.

Notieren Sie den Kontext für jede Ausführung, einschließlich:

  • Die Basisbereitstellung.
  • Die Modellrouterversion, der Routingmodus und die Modelluntermenge.
  • Der Prompt-Datensatz und die relevanten Anwendungseinstellungen.
  • Die Akzeptanzkriterien, die zur Interpretation des Laufs verwendet werden.

Dieser Kontext macht später reproduzierbare Vergleiche und hilft Ihnen, eine Änderung der Ergebnisse der getesteten Konfiguration zuzuordnen.

Lesen Sie die Abwägungen gemeinsam

Eine niedrigere geschätzte Kosten rechtfertigen keine Qualitätsregression in einer wichtigen Kategorie. Ebenso kann eine günstige durchschnittliche Latenz langsame Anforderungen verbergen, die sich auf Benutzer auswirken. Vergleichen Sie Qualität, Kosten und Latenz mit den Akzeptanzkriterien für die Workload, anstatt die Entscheidung auf eine Aggregatbewertung zu reduzieren.

Berücksichtigen Sie sowohl Ergebnisse auf Arbeitsauslastungsebene als auch auf Kategorieebene. Die Modellverteilung kann auch helfen, zu erklären, warum Qualität, Kosten oder Latenz geändert wurden, indem gezeigt wird, welche zugrunde liegenden Modelle verschiedene Teile der Workload behandelt haben.

Metrik- und Berichtsdefinitionen finden Sie unter Interpretieren von Auswertungsergebnissen.

Auswählen, was als Nächstes zu versuchen ist

Die Auswertung ist am nützlichsten, wenn sie die nächste Produktentscheidung informiert. Die folgenden Beispiele sind Überlegungen, keine universellen Empfehlungen:

Beobachtung Was sie als Nächstes berücksichtigen sollten
Die Qualität fällt unter die Arbeitsauslastungsanforderungen. Testen Sie den Qualitätsmodus , oder beschränken Sie die Modelluntermenge.
Qualität bleibt akzeptabel, aber Einsparungen sind begrenzt Testen Sie den Kostenmodus, und überprüfen Sie kategorien mit hoher Auswirkung auf Regressionen erneut.
Eine Kategorie unterscheidet sich von der restlichen Kategorie Bewerten Sie diese Kategorie separat, bevor Sie einstellungen für die gesamte Workload ändern.
Die Ergebnisse bleiben unsicher Fügen Sie repräsentative Eingabeaufforderungen hinzu, überprüfen Sie nicht abschließende Fälle, und wiederholen Sie den Vergleich.
Ergebnisse basieren auf einem nicht verfügbaren oder unzulässigen Modell Wählen Sie eine Teilmenge aus, die in der Bereitstellungsregion verfügbar ist und von der Organisationsrichtlinie zugelassen wird.
Die Tail-Latenz überschreitet die Vorgabe. Überprüfen Sie die Bereitstellung unter produktionsähnlichem Datenverkehr und Parallelität vor der Einführung.

Ändern Sie jeweils nur einen Routinghebel und führen Sie anschließend denselben Satz repräsentativer Prompts erneut aus. Wenn Sie die Basisplan- und Anwendungskonfiguration fest halten, können Sie ermitteln, ob ein Routingmodus oder eine Modelluntermenge die Änderung verursacht hat.

Überprüfen unter produktionsähnlichem Datenverkehr

Ein kontrollierter Vergleich ist ein wichtiges Signal, aber es reproduziert nicht jede Produktionsbedingung. Berücksichtigen Sie vor der breiten Einführung einen eingeschränkten Produktionstest, der Folgendes überwacht:

  • Qualitätssignale für wichtige Workloadkategorien.
  • Geschätzte und tatsächliche Nutzungskosten.
  • Median- und Taillatenz unter erwarteter Parallelität.
  • Fehler, Failoververhalten und Verteilung des ausgewählten Modells.
  • Feedback von qualifizierten Prüfern und Anwendungsbenutzern.

Bewahren Sie eine direkte Modellbereitstellung für Anforderungen auf, für die eine deterministische Modellauswahl erforderlich ist, oder wenn die Auswertung das Routing dieser Anforderungen nicht unterstützt.

Überwachen und Wiederholen der Auswertung

Behandeln Sie die ausgewählte Konfiguration als neue Basislinie anstelle des Endes des Optimierungsprozesses. Wiederholen Sie die Auswertung, wenn der Datenverkehrsmix, der Routingmodus, die Modelluntermenge, die unterstützten Modelle, das Anwendungsverhalten oder die Preisänderungen geändert werden.

Dieser Messen-Ändern-Neubewerten-Zyklus ist der praktische Nutzen des Hill-Climbing-Denkmodells: Der Modellrouter verringert den Aufwand für die Modellauswahl innerhalb des Zyklus, während die Evaluierung zeigt, ob jede Änderung die Arbeitslast in die gewünschte Richtung bewegt.

Verwandte Inhalte

  • Last updated on