Zasady konserwacji modeli sztucznej inteligencji

Ta strona opisuje politykę utrzymania modelu dla płatności za token API Foundation Model,udostępnionej przepustowości API Foundation Model oraz Batch Inference z ai_query ofertami.

Aby nadal wspierać najnowocześniejsze modele, Databricks zarządza modelami przez cykl życia, który przechodzi od statusu dziedziczonego przez wycofanie, aż do ostatecznego wycofania się z eksploatacji.

• Dziedzictwo: Gdy model jest oznaczony jako dziedzictwo, nie jest już zalecany dla nowych obciążeń. Klienci powinni zacząć oceniać nowsze modele i rozważyć migrację. Model pozostaje dostępny tylko w przestrzeniach roboczych, które korzystały z niego w ciągu 30 dni przed ogłoszeniem dziedzictwa.
• Wycofanie: Gdy model zostaje wycofany, Databricks ogłasza datę wycofania za 30 lub 90 dni w przyszłości. Model pozostaje dostępny tylko w miejscach roboczych, które korzystały z niego w ciągu 30 dni przed ogłoszeniem wycofania. Klienci korzystający z przestarzałego modelu muszą migrować swoje obciążenia przed datą przejścia na emeryturę, aby uniknąć zakłóceń.
• Wycofanie: Gdy model zostaje wycofany, nie jest już dostępny, a wsparcie dla modelu całkowicie znika. Każde obciążenie wykorzystujące ten model przestaje działać.

Polityka cyklu życia modelu

Poniższa sekcja podsumowuje politykę cyklu życia modelu. Zobacz Legacy, deprecated, and retired models, aby zobaczyć listę modeli starszych i wycofanych oraz ich daty przejścia na emeryturę.

Przy ustalaniu harmonogramu przejścia na emeryturę bierze się pod uwagę wiele czynników, w tym popularność modelu, odpowiedni model zastępstwa oraz ilość wykorzystania produkcji. Databricks ogłasza daty wycofania modeli po ich wycofaniu, zgodnie z poniższymi terminami powiadomień.

API modeli bazowych

Poniższa tabela podsumowuje politykę cyklu życia modelu dla produktów API Foundation Model: pay-per-token, provisioned throughput oraz ai_query (inferencja wsadowa).

Zasady wycofywania modelu partnerskiego

Modele partnerskie to modele, które oferują partnerzy zewnętrzni, tacy jak OpenAI, Anthropic i Google, za pośrednictwem API Foundation Model. W przypadku tych modeli partnerów usługa Databricks zwykle jest zgodna z tymi samymi osiami czasu wycofywania i zasadami opisanymi powyżej.

Jednak partnerzy mogą podawać daty emerytalne krótsze niż okres przejściowy, który publikuje Databricks. W takich przypadkach usługa Databricks próbuje wypełnić lukę, tymczasowo przekierowując modele do podobnej wersji, aby klienci otrzymywali pełny czas przejścia.

Na przykład, jeśli partner ogłasza przejście na emeryturę z dwutygodniowym wyprzedzeniem zamiast 30 dni, Databricks przekierowuje model o dodatkowe dwa tygodnie, aby zapobiec natychmiastowym awariom i dać czas na migrację. Zapytania nie przechodzą po upływie pełnego 30-dniowego okresu.

Modele dziedziczone, przestarzałe i wycofane

Poniższa tabela przedstawia modele dziedziczące, wycofane i wycofane, wraz z datami wycofania oraz zalecanymi modelami zastępczymi. Klienci muszą przenieść aplikacje do modeli zastępczych przed wskazaną datą wycofania.

Znajdowanie obciążeń korzystających z wycofanych modeli

Użyj następującego zapytania, aby znaleźć obciążenia korzystające z przestarzałych modeli i zidentyfikować ich właścicieli.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC

Jeśli używasz punktów końcowych obsługujących legacy foundation i embedding model, prosimy o wykonanie następującego zapytania:

SELECT *
FROM system.ai_gateway.usage
WHERE endpoint_name LIKE '%<retired-model-name>%';