Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Note
Denna sida beskriver det äldre endpoint-baserade Model Serving-arbetsflödet. För att hitta och söka modeller via Unity Gateway, se tillgängliga modeller och frågemodelltjänster.
Access Foundation-modeller som finns utanför Databricks
Grundmodeller som skapats av LLM-leverantörer, till exempel OpenAI och Anthropic, är också tillgängliga på Databricks med hjälp av externa modeller. Dessa modeller finns utanför Databricks och du kan skapa en slutpunkt för att fråga dem. Dessa slutpunkter kan styras centralt från Azure Databricks, vilket effektiviserar användningen och hanteringen av olika LLM-leverantörer i din organisation.
I följande tabell visas en icke-fullständig lista över modeller som stöds och motsvarande slutpunktstyper. Du kan använda de listade modellassociationerna för att hjälpa dig konfigurera en endpoint för alla nyligen släppta modelltyper när de blir tillgängliga hos en given leverantör. Kunderna ansvarar för att säkerställa efterlevnaden av tillämpliga modelllicenser.
Note
Med den snabba utvecklingen av LLM:er finns det ingen garanti för att listan är uppdaterad hela tiden. Nya modellversioner från samma provider stöds vanligtvis även om de inte finns med i listan.
| Modellleverantör | llm/v1/completions | llm/v1/chat | llm/v1/inbäddningar |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Modellhantering | Databricks-serverslutpunkt | Databricks-serverslutpunkt | Databricks-serverslutpunkt |
| Amazonas berggrund | Antropisk:
Hålla samman
AI21 Labs:
|
Antropisk:
Hålla samman
Amason:
|
Amason:
Hålla samman
|
AI21 Labs† |
|
||
| Google Cloud Vertex AI | text-bison |
|
|
** Modellleverantören stöder anpassade slutförande- och chattmodeller. Om du vill köra frågor mot en finjusterad modell fyller du i fältet name i external model-konfigurationen med namnet på din finjusterade modell.
† Modellprovidern stöder anpassade slutförandemodeller.
Skapa basmodell som betjänar slutpunkter
Om du vill köra frågor mot och använda grundmodeller i dina AI-program måste du först skapa en modell som betjänar slutpunkten. Modellservern använder ett enhetligt API och användargränssnitt för att skapa och uppdatera basmodell som betjänar slutpunkter.
- För att skapa en slutpunkt som tillhandahåller finjusterade varianter av grundläggande modeller som görs tillgängliga genom Foundation Model API:er med tilldelad genomströmning, se Skapa din slutpunkt för tilldelad genomströmning med hjälp av REST API.
- Information om hur du skapar serverslutpunkter som har åtkomst till grundläggande modeller som görs tillgängliga med hjälp av erbjudandet Externa modeller finns i Skapa en extern modell som betjänar slutpunkten.
Frågegrundsmodell som betjänar slutpunkter
När du har skapat din tjänsteslutpunkt kan du fråga din grundmodell. Modellservern använder ett enhetligt OpenAI-kompatibelt API och SDK för att köra frågor mot grundmodeller. Den här enhetliga upplevelsen förenklar hur du experimenterar med och anpassar grundmodeller för produktion i moln och leverantörer som stöds.