Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Note
Deze pagina beschrijft de legacy endpoint-gebaseerde Model Serving workflow. Om modellen te vinden en te zoeken via Unity Gateway, zie beschikbare modellen en querymodelservices.
Toegang tot basismodellen die buiten Databricks worden gehost
Basismodellen die zijn gemaakt door LLM-providers, zoals OpenAI en Antropic, zijn ook toegankelijk op Databricks met behulp van Externe modellen. Deze modellen worden buiten Databricks gehost en u kunt een eindpunt maken om er query's op uit te voeren. Deze eindpunten kunnen centraal worden beheerd vanuit Azure Databricks, waardoor het gebruik en beheer van verschillende LLM-providers binnen uw organisatie wordt gestroomlijnd.
De volgende tabel bevat een niet-volledige lijst met ondersteunde modellen en bijbehorende eindpunttypen. Je kunt de vermelde modelassociaties gebruiken om je te helpen een endpoint te configureren voor nieuw uitgebrachte modeltypes zodra ze beschikbaar komen bij een bepaalde provider. Klanten zijn verantwoordelijk voor het garanderen van naleving van toepasselijke modellicenties.
Note
Met de snelle ontwikkeling van LLM's is er geen garantie dat deze lijst altijd up-to-date is. Nieuwe modelversies van dezelfde provider worden doorgaans ondersteund, zelfs als ze niet in de lijst staan.
| Modelaanbieder | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Model serveren | Databricks-service-eindpunt | Databricks-service-eindpunt | Databricks-service-eindpunt |
| Amazonebodem | Antropisch:
Cohere:
AI21 Labs:
|
Antropisch:
Cohere:
Amazone:
|
Amazone:
Cohere:
|
AI21 Labs† |
|
||
| Google Cloud Vertex AI | tekst-bison |
|
|
** Modelprovider ondersteunt nauwkeurig afgestemde voltooiings- en chatmodellen. Als u een query wilt uitvoeren op een nauwkeurig afgestemd model, vult u het name veld van de external model-configuratie in met de naam van uw nauwkeurig afgestemde model.
† Modelprovider ondersteunt aangepaste voltooiingsmodellen.
Basismodel maken voor eindpunten
Als u basismodellen in uw AI-toepassingen wilt opvragen en gebruiken, moet u eerst een model voor eindpunt maken. Model Serving maakt gebruik van een geïntegreerde API en gebruikersinterface voor het maken en bijwerken van basismodel voor eindpunten.
- Zie Uw eindpunt voor aangevraagde doorvoer maken met behulp van de REST API om een eindpunt te creëren dat de fijn afgestemde varianten van foundationmodellen aanbiedt, die beschikbaar worden gesteld via de Foundation Model-API's met aangevraagde doorvoercapaciteit.
- Zie Een eindpunt voor externe modelbediening makenvoor het creëren van eindpunten die toegang bieden tot fundamentele modellen die beschikbaar zijn gesteld via de dienst Externe modellen.
Het basismodel van query's voor eindpunten
Nadat u het servereindpunt hebt gemaakt, kunt u een query uitvoeren op uw basismodel. Model Serving maakt gebruik van een geïntegreerde OpenAI-compatibele API en SDK voor het uitvoeren van query's op basismodellen. Deze uniforme ervaring vereenvoudigt het experimenteren met en aanpassen van basismodellen voor productie in ondersteunde clouds en providers.