Onderhoudsbeleid voor AI-modellen

Deze pagina beschrijft het modelonderhoudsbeleid voor de Foundation Model API's pay-per-token, Foundation Model API's voorzien van doorvoer, en batchinferentie met ai_query aanbiedingen.

Om de meest geavanceerde modellen te blijven ondersteunen, beheert Databricks modellen door een levenscyclus die zich ontwikkelt van legacystatus tot veroudering en uiteindelijk pensioen.

• Legacy: Wanneer een model als legacy wordt gemarkeerd, wordt het niet langer aanbevolen voor nieuwe workloads, maar blijft het beschikbaar in werkruimtes met bestaand gebruik van het model. Werkruimtes die het model niet gebruiken wanneer het in legacy-status gaat, hebben geen toegang meer tot het model. Klanten die zo'n model gebruiken, moeten nieuwere modellen evalueren en migratie overwegen.
• Afschrijving: Wanneer een model wordt opgeheven, wordt een pensioendatum aangekondigd van 30 dagen of 90 dagen in de toekomst. Het wordt niet aanbevolen voor nieuwe workloads, maar blijft beschikbaar in werkruimtes met bestaand gebruik van het model. Werkruimtes die het model op het moment van deprecatie niet gebruiken, hebben geen toegang tot het model. Klanten die zo'n model gebruiken, moeten nieuwere modellen evalueren en plannen om hun workloads vóór de pensioendatum te migreren.
• Uitfasering: Wanneer een model wordt afgehandeld, is het niet langer toegankelijk en wordt de ondersteuning voor het model volledig stopgezet. Elke werklast die het model gebruikt, werkt niet meer.

Modellevenscyclusbeleid

De volgende sectie vat het levenscyclusbeleid van het model samen. Zie Verouderde modellen voor een lijst van verouderde modellen en pensioendata.

Er worden veel factoren meegenomen bij het bepalen van de pensioentijd, waaronder de populariteit van het model, het geschikte vervangingsmodel en het aantal productie-inzet. Databricks kondigt pensioendata aan voor modellen wanneer ze worden afgeschaft en volgt de hieronder uiteengezette tijdlijnen.

API's van funderingsmodellen

De volgende tabel vat het modellevenscyclusbeleid samen voor de producten van Foundation Model APIs: pay-per-token, provisioned throughput en ai_query (batch inference).

Beleid voor buitengebruikstelling van partnermodellen

Partnermodellen zijn modellen die externe partners, met name OpenAI, Anthropic en Google, bieden via Foundation Model-API's. Voor deze partnermodellen volgt Databricks doorgaans dezelfde tijdlijnen en beleidsregels die hierboven worden beschreven.

Partners kunnen echter pensioendata aanbieden die korter zijn dan de overgangsperiode van één maand die Databricks publiceert. In deze gevallen probeert Databricks de kloof te overbruggen door modellen tijdelijk om te leiden naar een vergelijkbare versie, zodat klanten de volledige overgangstijd ontvangen.

Als bijvoorbeeld een pensioen van een partnermodel wordt aangekondigd met twee weken aanloop in plaats van één maand, stuurt Databricks het model om met nog eens twee weken om directe breuk te voorkomen en tijd voor migratie te creëren. Zoekopdrachten mislukken aan het einde van de volledige periode van één maand.

Afgeschafte en buiten gebruik gestelde modellen

De volgende secties bevatten modellen die zijn afgeschaft (niet meer aanbevolen voor nieuwe workloads) of buiten gebruik gesteld (einde van de levensduur en niet meer beschikbaar). Pensioendata voor verouderde modellen worden minstens een maand van tevoren aangekondigd.

Basismodel-API's buiten gebruik gesteld

In de volgende tabel ziet u model buitengebruikstelling, hun buitengebruikstellingsdatums en aanbevolen vervangingsmodellen voor gebruik voor Foundation Model-API's betalen per token en ingerichte doorvoer voor workloads. Databricks raadt u aan uw toepassingen te migreren om vervangingsmodellen te gebruiken vóór de aangegeven buitengebruikstellingsdatum.

Als u langetermijnondersteuning nodig hebt voor een specifieke modelversie, raadt Databricks aan om Foundation Model-API's te gebruiken ingerichte doorvoer voor uw serverworkloads.

Workloads zoeken die gebruikmaken van buiten gebruik gestelde modellen

Gebruik de volgende query om workloads te vinden die gebruikmaken van afgeschafte modellen en hun eigenaren te identificeren.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC