Gerenciar provedores externos de modelo (serviços de provedores de modelo)

Provedores de modelos externos permitem que você traga sua própria chave (BYOK): conecte os provedores de LLM que você já utiliza, como OpenAI, Anthropic ou Amazon Bedrock, e os controle por meio de um único ponto de controle. Registre cada provedor uma vez, e muitos usuários e APIs de modelos roteiam para ele sem nunca lidar com as credenciais.

No Azure Databricks, um provedor de modelo externo é um objeto seguro do Unity Catalog (um serviço de provedor modelo) que armazena os detalhes de conexão e credenciais criptografadas do provedor. Como o Unity Catalog armazena provedores, você governa o acesso com os mesmos privilégios que usa para dados, consulta modelos externos via Unity AI Gateway sem expor segredos e acompanha o uso e o custo de uma única camada de governança.

O que é um serviço de provedor de modelos?

Um serviço de provedor de modelo reside em um catálogo e um esquema no Unity Catalog e usa um nome de três partes, como main.default.openai_prod. Ele contém:

• O tipo de provedor (por exemplo, OpenAI ou Amazon Bedrock).
• A configuração de conexão desse provedor, como uma URL base do endpoint ou uma região de nuvem.
• As credenciais do provedor, que Azure Databricks criptografa e armazena. Azure Databricks não retorna credenciais na leitura. Para Azure OpenAI e Microsoft Foundry, você pode referenciar uma credencial de serviço existente pelo nome, em vez de armazenar uma chave ou segredo, e a credencial permanece onde está. Veja: Autenticar Azure OpenAI ou Microsoft Foundry com credencial de serviço.

Como um serviço de provedor de modelo é um catálogo do Unity protegível, você o gerencia da mesma maneira que gerencia outros objetos controlados:

• Conceda e revogue acesso usando privilégios do Unity Catalog.
• Descubra-o no Gerenciador de Catálogos juntamente com seus outros dados e ativos de IA.
• Configure os recursos do Gateway de IA do Unity, como limites de taxa e tabelas de inferência nele.

Os solicitantes consultam diretamente um serviço de provedor de modelos por meio do Unity AI Gateway ao referenciar seu nome, e não veem as credenciais armazenadas. Um serviço provedor de modelos também pode fornecer o provedor externo para o qual um serviço de modelos encaminha solicitações, oferecendo aos administradores um ponto único e controlado de gerenciamento das credenciais dos provedores.

Provedores com suporte

Um serviço de provedor modelo suporta apenas os seguintes provedores externos e métodos de autenticação.

Quando o ponto de extremidade de um provedor personalizado espera sua chave de API em um cabeçalho específico em vez de como um token de portador, você pode nomear esse cabeçalho. Veja Enviar uma chave de API de provedor personalizada em um cabeçalho.

Por que controlar provedores externos no Catálogo do Unity?

Sem um registro central, cada equipe que usa um modelo externo insere suas próprias credenciais de provedor em blocos de anotações ou código do aplicativo. Os serviços de provedor de modelo movem essa configuração para o Catálogo do Unity para que você possa:

• Defina um provedor uma vez. Registre as credenciais e os detalhes da conexão em um só lugar e, em seguida, permita que muitos usuários e serviços de modelo compartilhem sem nunca lidar com o segredo.
• Controle o acesso usando os privilégios do Unity Catalog. Use as mesmas instruções GRANT e REVOKE que você usa para outros objetos protegidos para controlar quem pode consultar cada provedor.
• Pesquisar em vários espaços de trabalho. Um serviço de provedor de modelos está disponível em qualquer workspace que compartilhe seu metastore.
• Controlar o uso e o custo. O Gateway de IA da Unity registra o uso das consultas que passam por um serviço de provedor de modelos. Veja Acompanhar o uso do modelo. O Azure Databricks também calcula o gasto estimado para solicitações encaminhadas a modelos externos. Consulte modelos externos.
• Rastreie a linhagem. Veja os serviços de modelo que encaminham para um provedor e os ativos downstream que consomem seus payloads. Veja Track model API e linhagem de provedores.

Privilégios

Os seguintes privilégios do Catálogo do Unity se aplicam aos serviços de provedor de modelos. Uma entidade de segurança também precisa de USE CATALOG e de USE SCHEMA no catálogo pai e no esquema.

Para saber como conceder e revogar esses privilégios, veja Descobrir e regular o acesso a provedores modelo externos (serviços de provedores modelo).

Acompanhe o gasto com serviço do prestador modelo nos orçamentos

Para incluir o gasto estimado do serviço de provedor de modelos em um orçamento do Unity AI Gateway, selecione Incluir uso externo de modelos ao criar o orçamento. O gasto com modelos externos passa a contar para os limites de alerta e de bloqueio de uso do orçamento.

Para mais informações sobre o gasto estimado de modelos externos, veja Modelos externos.

Próximas Etapas 

• Criar e gerenciar provedores modelo externos (serviços de provedores modelo)
• Consultar provedores de modelo externos (serviços de provedores modelo)
• Descubra e regule o acesso a provedores modelo externos (serviços de provedores-modelo)
• Rastrear o uso do modelo
• Analise o custo do Unity AI Gateway
• Rastrear API do modelo e linhagem do provedor