Wartungsrichtlinie für KI-Modelle

Diese Seite beschreibt die Modellwartungsrichtlinie für die Foundation Model APIs Pay-per-Token,Foundation Model APIs bereitgestellten Durchsatz und Batch Inference mit ai_query Angeboten.

Um weiterhin die modernsten Modelle zu unterstützen, verwaltet Databricks Modelle durch einen Lebenszyklus, der vom Legacy-Status über die Verwertung bis hin zur späteren Stilllegung reicht.

• Legacy: Wenn ein Modell als legacy markiert ist, wird es für neue Workloads nicht mehr empfohlen, bleibt aber in Arbeitsbereichen mit bestehender Nutzung des Modells verfügbar. Arbeitsbereiche, die das Modell nicht verwenden, wenn es in den Legacy-Status wechselt, haben keinen Zugriff mehr auf das Modell. Kunden, die ein solches Modell verwenden, sollten neuere Modelle prüfen und eine Migration in Betracht ziehen.
• Abwertung: Wenn ein Modell veraltet wird, wird ein Ruhedatum von 30 Tagen oder 90 Tagen in der Zukunft bekannt gegeben. Es wird für neue Workloads nicht empfohlen, bleibt aber in Arbeitsbereichen mit bestehender Nutzung des Modells verfügbar. Arbeitsbereiche, die das Modell zum Zeitpunkt der Verwertung nicht nutzen, haben keinen Zugriff auf das Modell. Kunden, die ein solches Modell verwenden, sollten neuere Modelle bewerten und planen, ihre Arbeitslasten vor dem Einstellungsdatum zu migrieren.
• Ruhestand: Wenn ein Modell ausgemustert wird, ist es nicht mehr zugänglich und die Unterstützung für das Modell wird vollständig eingestellt. Jede Arbeitslast, die das Modell verwendet, funktioniert nicht mehr.

Modelllebenszyklus-Richtlinie

Der folgende Abschnitt fasst die Modelllebenszyklus-Richtlinie zusammen. Siehe Veraltete Modelle für eine Liste der veralteten Modelle und Pensionsdaten.

Bei der Festlegung des Ruhezeitplans werden viele Faktoren berücksichtigt, darunter die Beliebtheit des Modells, das geeignete Ersatzmodell und der Produktionsverbrauch. Databricks kündigt Einstellungsdaten für Modelle an, wenn sie eingestellt werden, und folgt den unten aufgeführten Benachrichtigungszeitplänen.

Foundation Model-APIs

Die folgende Tabelle fasst die Modelllebenszyklusrichtlinie für die Produkte der Foundation Model APIs zusammen: Pay-per-Token, bereitgestellter Durchsatz und ai_query (Batch-Inferenz).

Richtlinie für die Einstellung des Partnermodells

Partnermodelle sind Modelle, die Drittanbieter – insbesondere OpenAI, Anthropic und Google – über Foundation Model-APIs bereitstellen. Für diese Partnermodelle folgt Databricks im Allgemeinen den oben beschriebenen Veralteten Zeitachsen und Richtlinien.

Partner könnten jedoch Rententermine anbieten, die kürzer sind als die von Databricks veröffentlichte Übergangsfrist von einem Monat. In diesen Fällen versucht Databricks, die Lücke zu überbrücken, indem modelle vorübergehend auf eine ähnliche Version umgeleitet werden, sodass Kunden die vollständige Übergangszeit erhalten.

Wenn zum Beispiel die Pensionierung eines Partnermodells mit zwei Wochen Vorlaufzeit statt eines Monats angekündigt wird, leitet Databricks das Modell um weitere zwei Wochen um, um sofortige Ausfälle zu vermeiden und Zeit für die Migration zu schaffen. Anfragen scheitern am Ende des vollen einmonatigen Zeitraums.

Veraltete und eingestellte Modelle

In den folgenden Abschnitten werden Modelle aufgeführt, die veraltet sind (nicht mehr für neue Workloads empfohlen) oder eingestellt (Ende der Lebensdauer und nicht mehr verfügbar). Pensionsdaten für veraltete Modelle werden mindestens einen Monat im Voraus bekannt gegeben.

Deaktivierung von Foundation-Modell-APIs

In der folgenden Tabelle sind Modellausfälle, deren Einstellungstermine und empfohlene Ersatzmodelle aufgeführt, die für Foundation-Modell-APIs pay-per-token und den bereitgestellten Durchsatz für Workloads verwendet werden sollen. Databricks empfiehlt, Ihre Anwendungen vor dem angegebenen Einstellungsdatum zu migrieren, um Ersatzmodelle zu verwenden.

Wenn Sie langfristige Unterstützung für eine bestimmte Modellversion benötigen, empfiehlt Databricks die Verwendung des bereitgestellten Durchsatzes von Foundation Model-APIs für Ihre Bereitstellungsworkloads.

Suchen nach Arbeitslasten, die eingestellte Modelle verwenden

Verwenden Sie die folgende Abfrage, um Arbeitslasten zu finden, die veraltete Modelle verwenden und deren Besitzer identifizieren.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC