Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Consultar modelos através de um Serviço de fornecedor de modelos no Unity Gateway, que fornece credenciais armazenadas e encaminha o pedido para o fornecedor externo, para que os chamadores não tratem do segredo do fornecedor.
Requirements
- Direito do espaço de trabalho a consultar: Acesso ao espaço de trabalho ou acesso do consumidor. Consulte Gerenciar permissões.
- São necessárias as seguintes permissões.
Consulte Descobrir e regular o acesso a fornecedores modelo externos (serviços de prestadores modelo).
-
EXECUTEno serviço de fornecedor de modelos -
USE CATALOGno catálogo -
USE SCHEMAno esquema
-
Identificar um serviço de prestador modelo
Seleciona um serviço de fornecedor modelo para um pedido com o Databricks-Model-Provider-Service cabeçalho, definido para o nome em três partes do serviço:
Databricks-Model-Provider-Service: main.default.openai_prod
Autentique com o seu token Azure Databricks, não com a credencial do fornecedor. A URL base é a URL do seu espaço de trabalho seguida de /ai-gateway.
Consultar APIs Suportadas
Os caminhos geridos disponibilizam a API de cada fornecedor através de um caminho Unity Gateway estável. O Unity Gateway faz a mediação entre o pedido e o fornecedor, aplica mecanismos de governação, como proteções e limites de taxa de pedidos, e regista a utilização. Esta é a forma recomendada de consultar um serviço modelo de prestador.
O exemplo seguinte envia uma conclusão de chat através de um serviço fornecedor de modelos OpenAI usando o caminho gerido do OpenAI. Uma vez que o pedido usa a API OpenAI Chat Completions, pode apontar o cliente OpenAI para a URL base do Unity Gateway.
Python
from openai import OpenAI
client = OpenAI(
api_key="<databricks-token>",
base_url="https://<workspace-url>/ai-gateway/openai/v1",
default_headers={"Databricks-Model-Provider-Service": "main.default.openai_prod"},
)
response = client.chat.completions.create(
model="gpt-4o-mini",
messages=[{"role": "user", "content": "Say hello in exactly 3 words."}],
)
print(response.choices[0].message.content)
REST
curl https://<workspace-url>/ai-gateway/openai/v1/chat/completions \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Databricks-Model-Provider-Service: main.default.openai_prod" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4o-mini",
"messages": [{"role": "user", "content": "Say hello in exactly 3 words."}]
}'
O caminho gerido a que recorre depende da API do fornecedor:
| API do Fornecedor | Caminho administrado |
|---|---|
| OpenAI (conclusão de chats) | /ai-gateway/openai/v1/chat/completions |
| OpenAI (respostas) | /ai-gateway/openai/v1/responses |
| OpenAI (incorporações) | /ai-gateway/openai/v1/embeddings |
| Anthropic (mensagens) | /ai-gateway/anthropic/v1/messages |
| Gemini (gerar conteúdo) | /ai-gateway/gemini/v1beta/models/<model>:generateContent |
| Gemini (gerar conteúdo com respostas em streaming) | /ai-gateway/gemini/v1beta/models/<model>:streamGenerateContent |
O modelo no corpo do pedido (ou segmento do caminho Gemini) deve ser um modelo que o serviço do fornecedor de modelos permite.
Para o Amazon Bedrock Mantle, selecione o seu serviço de fornecedor de modelo com o Databricks-Model-Provider-Service cabeçalho e use IDs de modelo Mantle. Um fornecedor da Amazon Bedrock utiliza bedrock-runtime. Alterar o caminho da API do cliente ou o ID do modelo não o muda para Mantle.
Consultar outras APIs (Passthrough)
Se um caminho gerido não abranger um ponto de extremidade do fornecedor, como um ponto de extremidade de ficheiros ou de lotes da OpenAI, pode encaminhar o pedido para o fornecedor sem alterações. O Unity Gateway remove o /ai-gateway prefixo, anexa a credencial armazenada e encaminha o caminho restante para o fornecedor.
Para ativar a passagem não gerida, selecione Encaminhar todos os caminhos de URL em Opções Avançadas quando criar ou atualizar o serviço de fornecedor de modelos na interface.
Note
A monitorização da utilização de tokens e dos custos, os limites da taxa de pedidos baseados em tokens e o controlo de acesso a modelos não se aplicam a pedidos de passthrough não geridos. Se o serviço tiver alguma política de serviço associada, incluindo uma em modo Registo, o pedido retorna HTTP 400. Consulte as APIs de modelos suportadas.
Depois de ativar o passthrough, utilize o caminho nativo do fornecedor em /ai-gateway. Por exemplo, listar ficheiros no endpoint de ficheiros da OpenAI:
curl https://<workspace-url>/ai-gateway/files \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Databricks-Model-Provider-Service: main.default.openai_prod"
Encaminhamento de cabeçalhos e parâmetros de consulta
Por defeito, o Unity Gateway não transmite os cabeçalhos de pedido ou parâmetros de consulta do cliente ao fornecedor a montante. Duas flags de configuração de serviço alteram isto, e aplicam-se tanto a caminhos geridos como não geridos:
-
forward_headers: Quandotrue, o Unity Gateway encaminha os cabeçalhos dos pedidos do cliente para o fornecedor. Ative isto quando um fornecedor precisar de um cabeçalho que o Unity Gateway não define para si, comoOpenAI-Organization. -
forward_query_parameters: Quandotrue, o Unity Gateway encaminha os parâmetros de consulta do cliente para o fornecedor.
Defina-os no serviço de fornecedor de modelos como qualquer outro campo de configuração:
curl https://<workspace-url>/api/2.1/unity-catalog/model-provider-services/main.default.openai_prod \
-X PATCH \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-G \
--data-urlencode "update_mask=config.forward_headers,config.forward_query_parameters" \
--data '{ "config": { "forward_headers": true, "forward_query_parameters": true } }'