Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Note
Esta página descreve o fluxo de trabalho de Serviço Modelo baseado em endpoints legado. Para encontrar e consultar modelos através do Unity Gateway, consulte os modelos disponíveis e os serviços de consulta de modelos.
Modelos de base do Access hospedados fora do Databricks
Modelos fundamentais criados por fornecedores de LLM, como OpenAI e Anthropic, também são acessíveis no Databricks usando modelos externos . Esses modelos estão alojados fora do Databricks e pode-se criar um endpoint para os consultar. Esses endpoints podem ser geridos centralmente a partir do Azure Databricks, o que facilita o uso e a gestão de vários provedores de LLM na sua organização.
A tabela a seguir apresenta uma lista não exaustiva de modelos suportados e tipos de pontos finais correspondentes. Pode usar as associações de modelos listadas para o ajudar a configurar um endpoint para quaisquer tipos de modelos recém-lançados à medida que se tornam disponíveis com um determinado fornecedor. Os clientes são responsáveis por garantir a conformidade com as licenças de modelo aplicáveis.
Note
Com o rápido desenvolvimento dos LLMs, não há garantia de que esta lista esteja sempre atualizada. Novas versões de modelo do mesmo provedor geralmente são suportadas, mesmo que não estejam na lista.
| Fornecedor de modelos | llm/v1/Conclusões | LLM/v1/Bate-papo | llm/v1/Incorporações |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere |
|
|
|
| Serviço de Modelos | Endpoint de serviço do Databricks | Endpoint de serviço do Databricks | Endpoint de serviço do Databricks |
| Substrato rochoso amazônico | Antrópico:
Cohere
Laboratórios AI21:
|
Antrópico:
Cohere
Amazônia:
|
Amazônia:
Cohere
|
Laboratórios AI21† |
|
||
| Google Cloud Vertex AI | texto-bison |
|
|
** O provedor de modelos suporta modelos de conclusão e de chat ajustados. Para consultar um modelo ajustado, preencha o campo name da configuração external model com o nome do modelo ajustado.
† O provedor de modelos suporta modelos de conclusão personalizados.
Criar modelo de base servindo endpoints
Para consultar e usar modelos fundamentais nas suas aplicações de IA, deve primeiro criar um endpoint de serviço do modelo. O Model Serving utiliza uma API e uma interface unificadas para criar e atualizar endpoints de modelos fundamentais.
- Para criar um endpoint que forneça variantes ajustadas de modelos de fundação disponibilizados usando APIs de Modelos de Fundação com taxa de transferência provisionada, consulte Criar o seu endpoint de taxa de transferência provisionada usando a API REST.
- Para criar pontos de extremidade de serviço que acedem a modelos de base disponibilizados através da oferta de modelos externos, consulte Criar um ponto de extremidade de serviço de modelo externo.
Modelo fundamental de consulta para atendimento de pontos de extremidade
Depois de criar o seu endpoint de serviço, poderá consultar o seu modelo base. O Model Serving usa uma API e SDK unificadas compatíveis com OpenAI para consultar modelos básicos. Essa experiência unificada simplifica como você experimenta e personaliza modelos básicos para produção em nuvens e provedores suportados.