Gerenciar APIs de modelos (serviços de modelos)

Uma API de modelo oferece acesso governado a um grande modelo de linguagem. Envie um pedido, receba uma resposta, sem infraestrutura para rodar. Por padrão, todo usuário de conta pode consultar as APIs de modelo fornecidas pelo sistema no system.ai esquema sem nenhuma configuração. Esses são modelos de fundação servidos nativamente pelo Azure Databricks, faturados por token.

No Azure Databricks, uma API de modelo é um objeto securável do Unity Catalog (um serviço modelo) que representa um endpoint de LLM governado. Como o Unity Catalog armazena isso, você define, compartilha e governa o acesso centralizado, junto com seus dados e através dos limites do espaço de trabalho. Para governar modelos adicionais ou expor um endpoint personalizado, você cria suas próprias APIs de modelo.

APIs de modelo suportam o seguinte:

• Modelos de fundação servidos pelo Azure Databricks, como serviços fornecidos pelo sistema em system.ai e como serviços que você cria. Há suporte para destinos de pagamento por token e taxa de transferência.
• Criando e gerenciando APIs de modelos com a interface do Unity AI Gateway, Catalog Explorer e a API REST do Unity Catalog.
• Consultando APIs de modelo em vários workspaces, de dentro e de fora do Azure Databricks.

O que é um serviço de modelo?

Um serviço de modelo reside em um esquema do Unity Catalog e faz referência a um ou mais destinos, com roteamento e fallback entre eles. Os chamadores invocam o serviço modelo pelo nome totalmente qualificado, e o Unity AI Gateway encaminha cada requisição para um destino. Um destino pode ser um modelo servido pelo Azure Databricks ou um serviço de provedor de modelo que roteia para um provedor externo, e um único serviço de modelo pode misturar ambos.

Como um serviço de modelo é um objeto securizável do Unity Catalog, ele:

• Fica em um catálogo e em um esquema, onde herda configurações do esquema, como associações de espaço de trabalho.
• Carrega metadados padrão do Catálogo do Unity, como nome, proprietário, comentário e marcas.
• É controlado pelos privilégios do Unity Catalog, portanto, você concede acesso usando os mesmos GRANT e REVOKE comandos que usa para tabelas, funções e modelos.
• É detectável no Catalog Explorer, juntamente com o restante dos ativos do Catálogo do Unity.

O mesmo serviço do modelo também aparece como um ponto de extremidade na interface do Gateway de IA do Unity, em que as equipes de IA podem configurar recursos como limites de taxa, tabelas de inferência e proteções. Para obter mais informações sobre esses recursos, consulte a governança de IA com o Gateway de IA do Unity.

Por que controlar LLMs no catálogo do Unity?

Os endpoints do Unity AI Gateway criados em um workspace são restritos a esse workspace. Para compartilhar um endpoint entre espaços de trabalho, você deve duplicá-lo em cada espaço de trabalho e gerenciar cada cópia separadamente.

Os serviços de modelo movem a governança para o Catálogo do Unity, para que você possa:

• Defina um ponto de extremidade de LLM uma vez e use-o de qualquer workspace anexado ao mesmo metastore.
• Governe o acesso centralmente usando privilégios do Catálogo do Unity, em vez de permissões por workspace.
• Descubra modelos que estão disponíveis para você em todos os espaços de trabalho em um só lugar.
• Monitore o uso e o custo dos serviços de modelos nas tabelas do sistema do Unity Catalog.
• Acompanhe a linhagem para ver os modelos atendidos por um serviço e os ativos downstream que consomem suas cargas úteis. Veja Track model API e linhagem de provedores.

Serviços de modelo fornecidos pelo sistema

O Azure Databricks fornece um serviço de modelo pronto para uso no system.ai esquema para cada modelo de fundação servido pelo Azure Databricks, como system.ai.claude-opus-5. Azure Databricks adiciona novos serviços de modelo de sistema à medida que novos modelos de base se tornam disponíveis.

Os serviços de modelo fornecidos pelo sistema têm as seguintes características:

• Por padrão, todos os usuários da conta têm o EXECUTE privilégio, para que você possa consultá-los sem configuração adicional.
• Um usuário do sistema é o proprietário deles e você não pode excluí-los.
• Por padrão, somente os administradores do metastore podem modificá-los. Um administrador de metastore pode delegar o gerenciamento concedendo o MANAGE privilégio.

Para restringir o acesso aos serviços de modelo disponibilizados pelo sistema, consulte governar serviços de modelo.

Privilégios

Os serviços de modelos usam o modelo padrão de privilégios do Unity Catalog. Os seguintes privilégios se aplicam:

Os serviços de modelo utilizam os privilégios do definidor. O Azure Databricks avalia uma consulta com base nos privilégios do proprietário, e não no do chamador. Quando um usuário consulta um serviço modelo, o Azure Databricks verifica se o proprietário tem EXECUTE sobre os destinos referenciados, como os modelos subjacentes e qualquer serviço do provedor de modelo. O interlocutor não precisa de acesso direto a esses destinos.

Limitations

As seguintes capacidades não são suportadas:

• Criar e gerenciar serviços de modelo com SQL.
• Descobrindo serviços de modelo apenas com o privilégio BROWSE.
• Busca global por serviços modelo.

Próximas Etapas 

• Criar e gerenciar serviços de modelo
• Serviços de modelo de consulta
• Descobrir e controlar o acesso aos serviços de modelo
• Integrar com agentes de codificação
• Rastrear API do modelo e linhagem do provedor