Observação
O acesso a essa página exige autorização. Você pode tentar entrar ou alterar diretórios.
O acesso a essa página exige autorização. Você pode tentar alterar os diretórios.
Note
Esta página descreve o fluxo de trabalho de Modelo de Serviço baseado em endpoints legado. Para encontrar e consultar modelos através do Unity Gateway, veja modelos disponíveis e consultar serviços de modelos.
modelos de base do Access hospedados fora do Databricks
Os modelos de base criados por provedores LLM, como o OpenAI e Anthropic, também são acessíveis no Databricks usando os modelos externos. Esses modelos são hospedados fora do Databricks e você pode criar um ponto de extremidade para consultá-los. Esses endpoints podem ser controlados centralmente a partir do Azure Databricks, o que simplifica o uso e o gerenciamento de vários provedores de LLM em sua organização.
A tabela a seguir apresenta uma lista não exaustiva dos modelos com suporte e dos tipos de pontos de extremidade correspondentes. Você pode usar as associações de modelos listadas para ajudar a configurar um endpoint para quaisquer tipos de modelos recém-lançados à medida que eles ficam disponíveis em um determinado provedor. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis.
Note
Com o rápido desenvolvimento de LLMs, não há garantia de que essa lista esteja atualizada o tempo todo. Normalmente, há suporte para novas versões de modelo do mesmo provedor, mesmo que não estejam na lista.
| Fornecedor de modelos | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Serviço de Modelo | Ponto de extremidade de serviço do Databricks | Ponto de extremidade de serviço do Databricks | Ponto de extremidade de serviço do Databricks |
| Rocha Amazônica | Anthropic:
Cohere:
Laboratórios AI21:
|
Anthropic:
Cohere:
Amazona:
|
Amazona:
Cohere:
|
Laboratórios AI21† |
|
||
| Google Cloud Vertex AI | text-bison |
|
|
** O provedor de modelos dá suporte a modelos de preenchimento e chat ajustados. Para consultar um modelo ajustado, preencha o campo name da configuração de external model com o nome do modelo ajustado.
† O provedor de modelos dá suporte a modelos de conclusão personalizados.
Criar pontos de extremidade de serviço de modelo de fundação
Para consultar e usar modelos fundamentais em seus aplicativos de IA, primeiro você deve criar um endpoint de serviço do modelo. O Serviço de Modelo usa uma API e uma interface do usuário unificadas para criar e atualizar os pontos de extremidade do serviço de modelo de base
- Para criar um ponto de extremidade que atenda às variantes ajustadas dos modelos fundamentais disponibilizados usando a taxa de transferência provisionada das APIs de Modelo fundamental, confira Criar seu ponto de extremidade de taxa de transferência provisionada usando a API REST.
- Para criar ponto de extremidade do serviço que acessam modelos de base disponibilizados usando a oferta de modelos externos, confira Criar um ponto de extremidade do serviço externo do modelo.
Consultar pontos de extremidade do serviço de modelo de base
Depois de criar o ponto de extremidade do serviço, você poderá consultar seu modelo fundamental. O Model Serving usa uma API e um SDK compatíveis com OpenAI unificados para consultar modelos de base. Essa experiência unificada simplifica a forma como você experimenta e personaliza modelos de base para produção em nuvens e provedores com suporte.
Consulte Usar modelos de base.