Onderhoudsbeleid voor AI-modellen

Op deze pagina wordt het beleid voor modelonderhoud beschreven voor de Foundation Model-API's betalen per token, ingerichte Doorvoer van Foundation-model-API's, Batch-deductie met ai_queryen afstemmen van het Foundation-model .

Om de meest geavanceerde modellen te blijven ondersteunen, beheert Databricks modellen via een levenscyclus die verloopt van update tot afschaffing tot uiteindelijke buitengebruikstelling.

• Update: Databricks past incrementele updates toe op een model om optimalisaties te leveren. Bekijk modelupdates.
• Afgeschaft: Een afgeschaft model wordt niet meer aanbevolen voor nieuwe workloads, maar blijft beschikbaar in werkruimten met bestaand gebruik van het model. Werkruimten die het model niet gebruiken op het moment van afschaffing, hebben geen toegang meer tot het model.
• Buiten gebruik gesteld: een buiten gebruik gesteld model is niet meer toegankelijk en ondersteuning voor het model wordt volledig stopgezet. Elke workload die het model gebruikt, werkt niet meer.

Modelafschappingsbeleid

Wanneer Databricks een model afwijst, wordt dat model niet meer aanbevolen en is gepland voor buitengebruikstelling. Databricks kondigt de buitengebruikstellingsdatums voor afgeschafte modellen aan met de tijdlijnen voor meldingen die in de volgende secties worden samengevat. Pensioendatums kunnen worden aangekondigd op het moment van afschaffing of op een latere datum. Na de buitengebruikstellingsdatum is het model niet meer toegankelijk en werkt elke workload die het gebruikt, niet meer.

Zie Afgeschafte en buiten gebruik gestelde modellen voor afgeschafte en buiten gebruik gestelde modellen. Zie Partnermodel buitengebruikstellingsbeleid voor partnermodellen.

API's van funderingsmodellen

De volgende tabel bevat een overzicht van het afschaffingsbeleid voor de Foundation Model-API's met betalen per token, ingerichte doorvoer van Foundation-model-API's en Batch-deductie met ai_query aanbiedingen.

Beleid voor buitengebruikstelling van partnermodellen

Partnermodellen zijn modellen die externe partners, met name OpenAI, Anthropic en Google, bieden via Foundation Model-API's. Voor deze partnermodellen volgt Databricks doorgaans dezelfde tijdlijnen en beleidsregels die hierboven worden beschreven.

Partners kunnen echter de datums voor buitengebruikstelling korter bieden dan de overgangsperiode van drie maanden die Databricks publiceert. In deze gevallen probeert Databricks de kloof te overbruggen door modellen tijdelijk om te leiden naar een vergelijkbare versie, zodat klanten de volledige overgangstijd ontvangen.

Als een partnermodel bijvoorbeeld buiten gebruik wordt gesteld met de doorlooptijd van één maand in plaats van drie, leidt Databricks het model nog eens twee maanden om om onmiddellijke onderbreking te voorkomen en tijd voor migratie toe te staan. Query's mislukken aan het einde van de volledige periode van drie maanden.

Fijnstelling van het Fundamentele Model

De volgende tabel bevat een overzicht van het afschaffingsbeleid voor Foundation Model Fine-tuning.

Modelupdates

Databricks kan incrementele modelupdates verzenden om optimalisaties te leveren. Wanneer Databricks een model bijwerkt, blijft de eindpunt-URL hetzelfde, maar verandert de model-id in het antwoordobject zodat deze overeenkomt met de datum van de update. Als Databricks bijvoorbeeld op 3-4-2024 een update meta-llama/Meta-Llama-3.3-70B verzendt, wordt de modelnaam in het antwoordobject bijgewerkt naar meta-llama/Meta-Llama-3.3-70B-030424. Databricks onderhoudt een versiegeschiedenis van de updates. Neem contact op met uw Databricks-accountteam voor meer informatie.

Afgeschafte en buiten gebruik gestelde modellen

De volgende secties bevatten modellen die zijn afgeschaft (niet meer aanbevolen voor nieuwe workloads) of buiten gebruik gesteld (einde van de levensduur en niet meer beschikbaar). Pensioendatums voor afgeschafte modellen worden ten minste drie maanden van tevoren aangekondigd.

Basismodel-API's buiten gebruik gesteld

In de volgende tabel ziet u model buitengebruikstelling, hun buitengebruikstellingsdatums en aanbevolen vervangingsmodellen voor gebruik voor Foundation Model-API's betalen per token en ingerichte doorvoer voor workloads. Databricks raadt u aan uw toepassingen te migreren om vervangingsmodellen te gebruiken vóór de aangegeven buitengebruikstellingsdatum.

Als u langetermijnondersteuning nodig hebt voor een specifieke modelversie, raadt Databricks aan om Foundation Model-API's te gebruiken ingerichte doorvoer voor uw serverworkloads.

Buitengebruikstelling van Foundation-model verfijnen

In de volgende tabel ziet u de buiten gebruik gestelde modelfamilies, hun pensioendatums en aanbevolen vervangingsmodelfamilies voor het verfijnen van foundationmodellen. Databricks raadt u aan uw toepassingen te migreren om vervangingsmodellen te gebruiken vóór de aangegeven buitengebruikstellingsdatum.

Workloads zoeken die gebruikmaken van buiten gebruik gestelde modellen

Gebruik de volgende query om workloads te vinden die gebruikmaken van afgeschafte modellen en hun eigenaren te identificeren.

SELECT
   eu.requester,
   se.endpoint_name,
   se.entity_name,
   COUNT(*) AS request_count,
   SUM(eu.input_token_count) AS total_input_tokens,
   SUM(eu.output_token_count) AS total_output_tokens,
   MIN(eu.request_time) AS first_request,
   MAX(eu.request_time) AS last_request
 FROM system.serving.endpoint_usage eu
 JOIN system.serving.served_entities se
   ON eu.served_entity_id = se.served_entity_id
 WHERE LOWER(se.entity_name) LIKE '%<retired-model-name>%'
 GROUP BY eu.requester, se.endpoint_name, se.entity_name
 ORDER BY request_count DESC