Criteri di manutenzione dei modelli di intelligenza artificiale

Questa pagina descrive la politica di manutenzione dei modelli per il pay-per-token delle API Foundation Model, il throughput provisionato delle API Foundation Model e l'Inferenza Batch con ai_query offerte.

Per continuare a supportare i modelli più all'avanguardia, Databricks gestisce modelli attraverso un ciclo di vita che passa dallo status legacy alla depreciazione e poi al pensionamento.

• Legacy: Quando un modello viene contrassegnato come legacy, non è più raccomandato per nuovi carichi di lavoro, ma rimane disponibile negli spazi di lavoro con uso esistente del modello. Gli spazi di lavoro che non utilizzano il modello quando entra in stato legacy non hanno più accesso al modello. I clienti che utilizzano un modello del genere dovrebbero valutare modelli più recenti e considerare la migrazione.
• Depreciazione: Quando un modello viene deprecato, viene annunciata una data di pensionamento di 30 o 90 giorni nel futuro. Non è raccomandato per nuovi carichi di lavoro, ma rimane disponibile negli spazi di lavoro con l'uso esistente del modello. Gli spazi di lavoro che non utilizzano il modello al momento della deprecazione non hanno accesso al modello. I clienti che utilizzano un modello di questo tipo dovrebbero valutare modelli più recenti e pianificare di migrare i propri carichi di lavoro prima della data di pensionamento.
• Pensionamento: Quando un modello viene ritirato, non è più accessibile e il supporto per il modello viene completamente interrotto. Qualsiasi carico di lavoro usando il modello non funziona più.

Politica del ciclo di vita del modello

La sezione seguente riassume la politica del ciclo di vita del modello. Vedi Modelli obsoleti per un elenco dei modelli obsoleti e delle date di pensionamento.

Vengono considerati molti fattori nel determinare la tempistica del ritiro, tra cui la popolarità del modello, il modello sostitutivo adatto e la quantità di utilizzo della produzione. Databricks annuncia le date di ritiro dei modelli quando vengono deprecati, seguendo le tempistiche di notifica indicate di seguito.

API dei modelli di base

La tabella seguente riassume la politica del ciclo di vita del modello per i prodotti API Foundation Model: pay-per-token, throughput provisionato e ai_query (inferenza batch).

Criteri di ritiro del modello di partner

I modelli di partner sono modelli forniti da partner di terze parti, in particolare OpenAI, Anthropic e Google, tramite le API del modello di base. Per questi modelli partner, Databricks segue in genere le stesse sequenze temporali e criteri di deprecazione descritti in precedenza.

Tuttavia, i partner potrebbero prevedere date di pensionamento più brevi rispetto al periodo di transizione di un mese pubblicato da Databricks. In questi casi, Databricks tenta di colmare il divario reindirizzando temporaneamente i modelli a una versione simile, in modo che i clienti ricevano il tempo di transizione completo.

Ad esempio, se il ritiro di un modello partner viene annunciato con un tempo di consegna di due settimane invece di un mese, Databricks reindirizza il modello per ulteriori due settimane per prevenire interruzioni immediate e consentire il tempo di migrazione. Le query falliscono al termine dell'intero periodo di un mese.

Modelli deprecati e ritirati

Le sezioni seguenti elencano i modelli deprecati (non più consigliati per i nuovi carichi di lavoro) o ritirati (fine della vita e non più disponibili). Le date di ritiro dei modelli obsoleti vengono annunciate almeno un mese prima.

Ritiri delle API del modello di base

La tabella seguente illustra i ritiri dei modelli, le date di ritiro e i modelli di sostituzione consigliati da usare per le API modello di base con pagamento in base al token e la velocità effettiva con provisioning dei carichi di lavoro. Databricks consiglia di eseguire la migrazione delle applicazioni per l'uso di modelli sostitutivi prima della data di ritiro indicata.

Se hai bisogno di supporto a lungo termine per una versione specifica del modello, Databricks consiglia di utilizzare le API del modello di base per la velocità effettiva con provisioning per i carichi di lavoro di servizio.

Trovare carichi di lavoro che usano modelli ritirati

Usare la query seguente per trovare i carichi di lavoro che usano modelli deprecati e identificare i proprietari.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC