Durchsatz bei Foundation-Model-APIs reservieren

Diese Seite erklärt den reservierten bereitgestellten Durchsatz für Foundation Model APIs: Was es ist, wann man es verwendet, wie die Größe einer Reservierung bestimmt wird und wie man einen Endpunkt, der sie nutzt, erstellt und verwaltet.

Was ist reservierter provisionierter Durchsatz?

Reservierter provisionierter Durchsatz ist eine Kapazitätsoption für Azure Databricks Foundation Model APIs. Anstatt ein Pro-Token-Angebot zu verwenden, das auf einen gemeinsamen Kapazitätspool zurückgreift, reservierst du eine feste Menge dediziierter Kapazität für eine festgelegte Laufzeit. Sie messen diese Kapazität in Modelleinheiten, und Azure Databricks hält sie für Sie während der gesamten Reservierungsdauer.

Da die Kapazität dediziert und im Voraus reserviert ist, bleiben Durchsatz und Latenz für diese Kapazität konstant, selbst wenn die Gesamtnachfrage nach geteiltem Pay-per-Token hoch ist. Der Datenverkehr, der über Ihre reservierte Kapazität hinausgeht, wird drosselt und nicht automatisch im Pay-per-Token-Modell abgewickelt. Um diesen Überlauf an „Pay-per-Token“ weiterzuleiten, anstatt ihn abzulehnen, konfigurieren Sie einen Fallback im Modelldienst vor Ihrem Endpunkt. Siehe Umgang mit Datenverkehr über Ihrer reservierten Kapazität.

Wann sollte der reservierte, bereitgestellte Durchsatz verwendet werden?

Reservierter provisionierter Durchsatz ist für Workloads konzipiert, die verlässliche Kapazität benötigen, statt Best-Effort-Zugriff auf einen gemeinsamen Pool zu nutzen. Databricks empfiehlt es, wenn:

• Sie betreiben eine geschäftskritische Anwendung oder einen Agenten, bei dem eine Produktionsfunktion vom Modell abhängt und nicht mit anderem Datenverkehr um gemeinsam genutzte Kapazitäten konkurrieren kann.
• Sie benötigen eine konsistentere Verfügbarkeit und Betriebszeit als beim Shared-Pay-per-Token-Modell, sodass eine hohe Auslastung des gemeinsam genutzten Pools weniger Auswirkungen auf Ihren Durchsatz hat.
• Sie skalieren auf hohe oder anhaltende Volumina vorhersehbaren Datenverkehrs und stoßen auf Kapazitäts- oder Ratenbeschränkungen für Pay-per-Token oder Prioritätspay-per-Token.

Wenn Ihr Traffic explorativ oder von geringem Umfang ist, siehe Pay-per-Token oder Priority Pay-per-Token.

Unterstützte Modelle

Reservierter bereitgestellter Durchsatz ist für unterstützte Foundation-Modelle verfügbar. Azure Databricks kuratiert die Berechtigung pro Modell, und der Create Flow zeigt nur die Modelle an, die du reservieren kannst.

Für die folgenden Modelle steht reservierter bereitgestellter Durchsatz zur Verfügung:

So funktioniert der reservierte Durchsatz

Du reservierst Kapazität in Modelleinheiten. Eine Modelleinheit ist eine Einheit des bereitgestellten Durchsatzes, die festlegt, wie viel Arbeit Ihr Endpunkt pro Minute bewältigen kann. Je mehr Modellgeräte, desto höher der für Sie verfügbare Durchsatz. Du reservierst Modelleinheiten in Schritten zu je 50, beginnend mindestens bei 50.

Sie erstellen eine Reservierung, indem Sie wählen, wie viele Modelleinheiten Sie reservieren möchten und wie lange (die Laufzeit). Azure Databricks stellt diese dedizierte Kapazität für die gesamte Laufzeit bereit. Ein Endpunkt kann mehr als eine Reservierung gleichzeitig haben, und seine gesamte reservierte Kapazität ist die Summe der Modelleinheiten über seine aktiven Reservierungen hinweg.

Die folgenden Begriffe beschreiben die Teile eines reservierten bereitgestellten Durchsatz-Endpunkts:

Entscheide, wie viel reserviert werden soll

Wie viele Modelleinheiten Sie reservieren, liegt bei Ihnen. Sie können Ihre gesamte Arbeitslast auf dedizierte Kapazitäten legen oder weniger reservieren und den Überlauf mit Fallback auf Pay-per-Token schicken (siehe Umgang mit Datenverkehr über Ihrer reservierten Kapazität):

• Reserviere eine Baseline und schicke Peaks in einen Fallback. Reserviere genug Modelleinheiten, um dein regelmäßiges, alltägliches Anfragevolumen abzudecken, und setze einen Fallback ein, sodass Spitzen über diesem Grundniveau nach dem Pay-per-Token-Modell abgerechnet werden. Du verpflichtest dich zu weniger Kapazität und zahlst pro Token nur für den Überlauf, im Gegenzug für Best-Effort-Shared-Capacity bei diesen Lastspitzen.
• Reservieren Sie für Ihren Höchstbedarf. Reservieren Sie genügend Moduleinheiten, um Ihre voraussichtlich höchste Auslastung abzudecken, damit Ihr gesamtes Arbeitsvolumen auf dedizierter Kapazität ausgeführt wird. Dies führt zum konsistentesten Verhalten, im Gegenzug für eine größere Verpflichtung.

So oder so übersetzen Sie Ihre Arbeitslast mit dem integrierten Geschätzte Modelleinheiten-Tool im Erstellungsprozess in Modelleinheiten. Geben Sie die erwartete Form Ihrer Abfrage ein, und der Schätzer gibt die von Ihnen benötigten Modelleinheiten zurück:

• Die Anzahl der Anfragen pro Minute, die du erwartest.
• Die durchschnittliche Anzahl von Eingabetoken pro Anforderung.
• Die durchschnittliche Anzahl der Ausgabetoken pro Anforderung.
• Deine erwartete Cache-Trefferrate.

Um eine Basislinie zu bestimmen, geben Sie Ihr typisches Datenaufkommen ein. Um Kapazitäten für Ihre Spitzenauslastung zu reservieren, geben Sie Ihr erwartetes höchstes Verkehrsaufkommen ein. Sie können den Rechner so oft ausführen, wie Sie möchten, bevor Sie eine endgültige Entscheidung treffen.

Reservierter bereitgestellter Durchsatz im Vergleich zu Pay-per-Token

Reservierter bereitgestellter Durchsatz und tokenbasierte Abrechnung ergänzen sich und schließen einander nicht aus. Sie können dedizierte Kapazitäten für Ihren Kernverkehr reservieren und für alles außerhalb Ihres reservierten Pools einen Fallback auf Pay-per-Token konfigurieren. Die folgende Tabelle zeigt, wo jede Option passt.

Wie die Preisgestaltung funktioniert

Reservierter bereitgestellter Durchsatz wird auf Grundlage der von dir reservierten Kapazität abgerechnet, nicht auf Grundlage der von dir gesendeten Anfragen. Du wirst für die gesamte Reservierung für die gesamte Laufzeit in Rechnung gestellt, unabhängig davon, ob du die reservierte Kapazität nutzt oder nicht.

• Eine längere Laufzeit bringt einen niedrigeren Betrag pro Einheit mit sich als eine kürzere.
• Wenn ein Endpunkt gleichzeitig Reservierungen mit unterschiedlichen Laufzeiten hält, wird jede unabhängig zu ihrem eigenen Tarif bepreist.
• Die genauen Tarife hängen vom Modell und der Laufzeit ab.

Bevor du anfängst

Erstellen Sie einen reservierten provisionierten Durchsatz-Endpunkt

Sie richten über Unity Gateway reservierten, bereitgestellten Durchsatz ein.

1. In Unity Gateway wählen Sie + Model.

2. Benennen Sie den Modelldienst.

3. Für das Ziel wählen Sie den bereitgestellten Durchsatz und dann den Link, um einen neuen Bereitstellungsendpunkt im Arbeitsbereich zu erstellen. Der Dialog "Einrichten eines provisionierten Durchsatz-Endpunkts" öffnet sich.

   

4. Wählen Sie ein geeignetes Foundation-Modell.

5. Lege deine Modelleinheiten in 50er-Schritten fest. Um die Größe des Pools festzulegen, wählen Sie Geschätzte Modelleinheiten, geben Sie Ihre erwartete Arbeitslast ein (Anfragen pro Minute, durchschnittliche Eingabe- und Ausgabetoken pro Anfrage sowie Ihre erwartete Cache-Hitrate), und der Schätzer gibt die benötigten Modelleinheiten zurück. Siehe Entscheiden, wie viel reserviert werden soll.

   

6. Wählen Sie eine Reservierungsdauer: 1 Monat oder 3 Monate. Eine längere Laufzeit bringt einen niedrigeren Betrag pro Einheit mit sich.

7. Überprüfen Sie Ihre Modelleinheiten und den Begriff und erstellen Sie dann den Endpunkt. Azure Databricks stellt die dedizierte Kapazität bereit.

Ansehen und überwachen

Die Endpoint-Detailseite zeigt einen Abschnitt für aktive Konfigurationen mit der Überschrift Reservierter provisionierter Durchsatz, der Ihre reservierten Modelleinheiten sowie die Laufzeit, das Ablaufdatum und den Status jeder Reservierung auflistet. Wenn ein Endpunkt mehrere gestapelte Reservierungen aus Skalierungen oder Upgrades enthält, erscheinen diese als Liste.

Der Metrik-Tab zeigt die übliche Bereitstellungstelemetrie, einschließlich Anfragen pro Minute, Fehleranzahl, Latenz (p50, p90, p95 und p99), Token-Zählungen und Zeit-zu-Erst-Token, sodass Sie die Nutzung beobachten und entscheiden können, wann skaliert werden soll.

Kapazitätserhöhung

Um Kapazität hinzuzufügen, öffne Bearbeiten>Kapazität hinzufügen, gib die Anzahl der hinzuzufügenden Modelleinheiten ein (in 50er-Schritten) und wähle eine Laufzeit aus. Dadurch wird eine neue Reservierung zusätzlich zu Ihren bestehenden Reservierungen erstellt. Es verändert oder unterbricht nicht, was du bereits hast. Die Detailseite listet dann jede Reservierung mit ihrer jeweils eigenen Ablaufzeit auf.

Ablaufdatum

• Nach Ablauf verfällt der reservierte Pool. Der Datenverkehr wird dann wie jeder andere Datenverkehr behandelt, der Ihre reservierte Kapazität überschreitet: Er wird an Ihren konfigurierten „Pay-per-Token“-Fallback weitergeleitet oder, falls kein Fallback vorhanden ist, einer Ratenbegrenzung unterzogen. Siehe Umgang mit Datenverkehr über Ihrer reservierten Kapazität.
• Um die reservierte Kapazität nach Ablauf einer Laufzeit zu behalten, erstellen Sie eine neue Reservierung, bevor die aktuelle abläuft. Siehe Kapazität hochskalieren.
• Abgelaufene Reservierungen bleiben mit einem abgelaufenen Abzeichen sichtbar und werden behalten, nicht gelöscht.

Behandle den Datenverkehr über deine reservierte Kapazität hinaus

Ein reservierter provisionierter Durchsatz-Endpunkt wickelt den Datenverkehr ausschließlich mit Ihrer reservierten Kapazität ab. Azure Databricks leitet Overflow nicht automatisch zu Pay-per-Token. Wenn der Verkehr Ihre reservierte Kapazität überschreitet, sei es durch einen Burst oder weil eine Reservierung abgelaufen ist, werden diese Anfragen mit einem Rate-Limit-Fehler abgelehnt.

Um diesen Überlauf weiterhin zu bedienen, konfigurieren Sie einen Fallback im Unity Gateway-Modelldienst vor Ihrem Endpunkt. Setzen Sie Ihren reservierten provisionierten Durchsatz-Endpunkt als primäres Ziel und einen Pay-per-Token- oder Prioritätspay-per-Token-Endpunkt als Fallback. Wenn der reservierte Endpunkt einen Rate-Limit-Fehler zurückgibt, versucht der Modellservice die Anfrage erneut gegen das Fallback-Ziel, sodass Ihre Arbeitslast weiterläuft und Sie nur pro Token für den Überlauf bezahlen.

Einrichtungsschritte finden Sie unter Routing und Fallbacks für Modelle konfigurieren.

Limitations

• Du kannst in der aktuellen Version pro Modell und Arbeitsbereich einen reservierten, bereitgestellten Durchsatz-Endpunkt erstellen.
• Reservierungen sind im Voraus bezahlt und laufen über die gesamte Laufzeit. Du kannst eine Reservierung nicht mittendrin stornieren.
• Du kannst einen Endpunkt mit aktiver Reservierung nicht löschen, bis die Reservierung endet.
• Benutzer ohne MANAGE für das Modell sehen schreibgeschützte Ansichten.

Weitere Grenzwerte für Foundation-Modell-APIs finden Sie unter Foundation Model-APIs-Grenzwerte und -Kontingente.

Weitere Ressourcen

• Prioritäre Pay-per-Token für Foundation Model-APIs
• Foundation Model-REST-API-Referenz
• Berechtigungen für den Unity-Katalog im Foundation-Modell
• Databricks Foundation Model-Schnittstellen