Underhållsprincip för AI-modeller

På den här sidan beskrivs modellunderhållsprincipen för API:erna för Foundation Model betala per token, Foundation Model-API:er som etablerats genomflöde, Batch-slutsatsdragning med ai_queryoch Grundmodell Finjusteringserbjudanden .

För att fortsätta stödja de mest toppmoderna modellerna hanterar Databricks modeller via en livscykel som går från uppdatering till utfasning till eventuell tillbakadragning.

• Uppdatering: Databricks tillämpar inkrementella uppdateringar på en modell för att leverera optimeringar. Se Modelluppdateringar.
• Inaktuell: En inaktuell modell rekommenderas inte längre för nya arbetsbelastningar, men förblir tillgänglig på arbetsytor med befintlig användning av modellen. Arbetsytor som inte använder modellen vid tidpunkten för utfasningen har inte längre åtkomst till den.
• Tillbakadragen: En pensionerad modell är inte längre tillgänglig och stödet för modellen upphör helt. Alla arbetsbelastningar som använder modellen slutar fungera.

Modellutfasningsprincip

När Databricks inaktuella en modell rekommenderas inte längre den modellen och planeras för tillbakadragning. Databricks meddelar indragningsdatum för inaktuella modeller med de tidslinjer för meddelanden som sammanfattas i följande avsnitt. Pensionsdatum kan meddelas vid tidpunkten för utfasningen eller vid ett senare tillfälle. Efter slutdatumet är modellen inte längre tillgänglig och alla arbetsbelastningar som använder den slutar fungera.

För inaktuella och tillbakadragna modeller och deras aviserade pensionsdatum, se Inaktuella och indragna modeller. Information om partnermodeller finns i Pensionsprincip för partnermodeller.

API:er för grundmodell

I följande tabell sammanfattas utfasningsprincipen för API:erna för Foundation Model-API:er för betalning per token, API:er för Foundation-modell etablerat dataflöde och Batch-slutsatsdragning med ai_query erbjudanden.

Princip för partnermodellens pensionering

Partnermodeller är modeller som tredjepartspartner – särskilt OpenAI, Anthropic och Google – tillhandahåller via Foundation Model-API:er. För dessa partnermodeller följer Databricks vanligtvis samma tidslinjer och principer för utfasning som beskrivs ovan.

Partner kan dock tillhandahålla pensionsdatum som är kortare än den övergångsperiod på tre månader som Databricks publicerar. I dessa fall försöker Databricks överbrygga klyftan genom att tillfälligt omdirigera modeller till en liknande version, så att kunderna får hela övergångstiden.

Om till exempel en partnermodell dras tillbaka med en månads ledtid i stället för tre omdirigerar Databricks modellen i ytterligare två månader för att förhindra omedelbar avbrott och ge migreringstid. Frågor misslyckas i slutet av hela tremånadersperioden.

Finjustering av grundmodell

I följande tabell sammanfattas utfasningsprincipen för finjustering av grundmodell.

Modelluppdateringar

Databricks kan leverera inkrementella modelluppdateringar för att leverera optimeringar. När Databricks uppdaterar en modell förblir slutpunkts-URL:en densamma, men modell-ID:t i svarsobjektet ändras för att återspegla datumet för uppdateringen. Om Databricks till exempel skickar en uppdatering till meta-llama/Meta-Llama-3.3-70B den 3/4/2024 uppdateras modellnamnet i svarsobjektet till meta-llama/Meta-Llama-3.3-70B-030424. Databricks har en versionshistorik för uppdateringarna. Kontakta ditt Databricks-kontoteam för mer information.

Inaktuella och inaktuella modeller

I följande avsnitt listas modeller som är inaktuella (rekommenderas inte längre för nya arbetsbelastningar) eller som har dragits tillbaka (livslängden upphör och inte längre är tillgänglig). Pensionsdatum för inaktuella modeller tillkännages minst tre månader i förväg.

Api:er för foundation-modell dras tillbaka

Följande tabell visar modellavgångar, deras pensionsdatum och rekommenderade ersättningsmodeller som ska användas för Foundation Model API:er betala per token och etablerat dataflöde som betjänar arbetsbelastningar. Databricks rekommenderar att du migrerar dina program för att använda ersättningsmodeller före angivet slutdatum.

Om du behöver långsiktigt stöd för en viss modellversion rekommenderar Databricks att du använder Foundation Model-API:er provisionerat dataflöde för dina serving-arbetsbelastningar.

Finjustering av grundmodell

I följande tabell visas pensionerade modellfamiljer, deras pensionsdatum och rekommenderade ersättningsmodellfamiljer för arbetsbelastningar som involverar finjustering av grundmodeller. Databricks rekommenderar att du migrerar dina program för att använda ersättningsmodeller före angivet slutdatum.

Hitta arbetsbelastningar som använder tillbakadragna modeller

Använd följande fråga för att hitta arbetsbelastningar som använder inaktuella modeller och identifiera sina ägare.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC