Gerir fornecedores externos de modelos (serviços de fornecedores de modelos)

Os fornecedores de modelos externos permitem-lhe trazer a sua própria chave (BYOK): ligue os fornecedores de LLM que já utiliza, como OpenAI, Anthropic ou Amazon Bedrock, e governe-os através de um único ponto de controlo. Registe cada fornecedor apenas uma vez, e muitos utilizadores e APIs de modelos podem encaminhar pedidos para esse fornecedor sem nunca terem de lidar com as credenciais.

No Azure Databricks, um fornecedor de modelos externo é um objeto seguro do Unity Catalog (um serviço de fornecedor modelo) que armazena os detalhes de ligação e credenciais encriptadas do fornecedor. Como o Unity Catalog armazena fornecedores, governa o acesso com os mesmos privilégios que usa para os dados, consulta modelos externos através do Unity AI Gateway sem expor segredos, e acompanha o uso e o custo a partir de uma única camada de governação.

O que é um serviço modelo de prestador?

Um serviço de fornecedor de modelos reside num catálogo e esquema do Catálogo Unity e utiliza um nome de três partes, como main.default.openai_prod. Defende:

• O tipo de fornecedor (por exemplo, OpenAI ou Amazon Bedrock).
• A configuração da ligação desse fornecedor, como uma URL de base do endpoint ou uma região da cloud.
• As credenciais do fornecedor, que o Azure Databricks encripta e armazena. Azure Databricks não devolve credenciais ao serem lidas. Para o Azure OpenAI e o Microsoft Foundry, pode referenciar uma credencial de serviço existente pelo nome em vez de armazenar uma chave ou segredo, e a credencial mantém-se onde está. Veja Autenticar Azure OpenAI ou Microsoft Foundry com credencial de serviço.

Uma vez que um serviço de fornecedor de modelos é um objeto protegível do Unity Catalog, gere-o da mesma forma que gere os outros objetos governados:

• Conceda e revoga o acesso com privilégios do Catálogo Unity.
• Descubra-o no Explorador de Catálogos juntamente com os teus outros dados e ativos de IA.
• Configure funcionalidades do Unity AI Gateway, como limites de taxa e tabelas de inferência.

Os chamadores consultam um serviço de fornecedor modelo diretamente através do Unity AI Gateway, consultando o seu nome, e não veem as credenciais armazenadas. Um serviço de fornecedor de modelos também pode fornecer o fornecedor externo para o qual um serviço de modelos encaminha, proporcionando aos administradores um ponto único de controlo governado para as credenciais dos fornecedores.

Fornecedores suportados

Um serviço de fornecedor modelo suporta apenas os seguintes fornecedores externos e métodos de autenticação.

Quando o endpoint de um fornecedor personalizado espera que a sua chave de API seja enviada num cabeçalho específico em vez de sob a forma de token bearer, pode indicar o nome desse cabeçalho. Consulte Enviar uma chave API personalizada de fornecedor num cabeçalho.

Por que governar fornecedores externos no Unity Catalog?

Sem um registo central, cada equipa que utiliza um modelo externo incorpora as suas próprias credenciais de fornecedor no código da aplicação ou nos cadernos. Os serviços do fornecedor modelo transferem essa configuração para o Unity Catalog para que possam:

• Defina um prestador uma vez. Registe as credenciais e os detalhes da ligação num só local e, depois, deixe que muitos utilizadores e serviços de modelo as partilhem sem nunca terem de lidar com o segredo.
• Controlar o acesso com privilégios do Catálogo Unity. Utilize as mesmas instruções GRANT e REVOKE que utiliza para outros objetos protegíveis para controlar quem pode consultar cada fornecedor.
• Consulta entre espaços de trabalho. Um serviço de fornecedor de modelos está disponível em qualquer espaço de trabalho que partilhe o mesmo metastore.
• Acompanha o uso e o custo. O Unity AI Gateway regista a utilização de consultas que passam por um serviço de fornecedor de modelos. Ver Rastrear a utilização do modelo. O Azure Databricks também calcula o gasto estimado para pedidos encaminhados para modelos externos. Consulte modelos externos.
• Rastreia a linhagem. Veja os serviços modelo que encaminham para um fornecedor e os ativos a jusante que consomem as suas cargas úteis. Ver API do modelo de rastreio e linhagem de fornecedores.

Privilégios

Os seguintes privilégios do Catálogo Unity aplicam-se aos serviços do fornecedor modelo. Um principal também precisa de USE CATALOG e USE SCHEMA no catálogo e esquema principais.

Para saber como conceder e revogar estes privilégios, consulte Descobrir e regular o acesso a fornecedores modelo externos (serviços de fornecedores-modelo).

Monitorizar os gastos com serviços de fornecedores de modelos nos orçamentos

Para incluir o gasto estimado do serviço do prestador de modelos num orçamento para um Unity AI Gateway, selecione Incluir uso externo de modelos ao criar o orçamento. O gasto em modelos externos conta então para os limiares de alerta e de utilização em blocos do orçamento.

Para mais informações sobre o gasto estimado em modelos externos, consulte Modelos externos.

Passos seguintes

• Criar e gerir fornecedores modelo externos (serviços de prestadores modelo)
• Consultar fornecedores de modelos externos (serviços de fornecedor de modelo)
• Descubra e regule o acesso a fornecedores modelo externos (serviços de prestadores modelo)
• Monitorizar a utilização do modelo
• Analisar o custo do Unity AI Gateway
• API de modelo de rastreio e linhagem de fornecedores