Criar e gerenciar APIs modelo (serviços modelo)

Crie, compartilhe e gerencie suas próprias APIs de modelo (serviços de modelo) no Unity Catalog.

Dica

As APIs de modelo fornecidas pelo sistema no system.ai esquema estão prontas para consultar sem nenhuma configuração. Crie sua própria API de modelo apenas quando quiser governar modelos adicionais ou expor um endpoint personalizado.

Requirements

  • Um workspace do Azure Databricks em uma região com suporte ao Gateway de IA Unity.
  • Catálogo do Unity habilitado para seu workspace. Consulte Habilitar um workspace para o Unity Catalog.
  • Para criar um serviço de modelo, você deve ter:
    • USE CATALOG, USE SCHEMA e CREATE SERVICE no catálogo e esquema onde você cria o serviço de modelo.
    • EXECUTE em cada modelo que o serviço de modelo referencia como destino.
    • EXECUTE, USE CATALOG, e USE SCHEMA em cada serviço do provedor de modelo ao qual o serviço de modelo faz referência como destino.
    • USE CATALOG, USE SCHEMA e CREATE TABLE no catálogo e esquema onde a tabela de inferência é criada, se você habilitar o registro de inferência.

Criar um serviço de modelo

Você pode criar um serviço modelo na interface do Unity AI Gateway ou no Catalog Explorer, ou programaticamente com a API REST, os SDKs do Azure Databricks, a CLI do Azure Databricks ou o Terraform.

Serviços de modelo e serviços de provedor de modelo compartilham um único namespace em um esquema do Unity Catalog. Você não pode usar um nome para um serviço de modelo se um serviço de provedor de modelos no esquema já usar esse nome, e vice-versa.

Gerenciador de Catálogos

  1. Realize um dos seguintes procedimentos:
    • Na barra lateral do workspace, clique em Gateway de IA e, em seguida, clique em Criar.
    • No Explorador de Catálogo, vá para o esquema em que você deseja criar o serviço de modelo e clique em Criar>Serviço>Serviço de modelo.
  2. Digite um nome para o serviço de modelo e selecione o catálogo e esquema onde criá-lo. Se você começar no Catalog Explorer, o Catalog Explorer preenche automaticamente o catálogo e o esquema.
  3. Selecione o destino principal a ser atendido. Esse destino pode ser um modelo hospedado pela Databricks no qual você tem EXECUTE e que o Unity AI Gateway pode disponibilizar, ou um serviço de provedor de modelos no qual você tem EXECUTE, USE CATALOG e USE SCHEMA.
  4. Clique em Criar.

Depois de criar o serviço de modelo, o Azure Databricks abre a página de visão geral, onde você pode começar a usar o serviço ou configurar recursos adicionais, como log de inferência.

Ferramentas para Desenvolvedores

Databricks CLI: Passe o esquema pai e um nome folha, e forneça a configuração com --json. A configuração de roteamento deve ter pelo menos um destino:

databricks ai-gateway create-model-service schemas/main.default my_model_service --json '{
  "comment": "Routes chat traffic to a foundation model",
  "config": {
    "routing": {
      "destinations": [
        {
          "name": "primary",
          "destination_type": "DESTINATION_TYPE_PAY_PER_TOKEN_FOUNDATION_MODEL",
          "pay_per_token_config": { "model": "models/system.ai.databricks-gpt-5" },
          "traffic_percentage": 100
        }
      ]
    }
  }
}'

Execute databricks ai-gateway create-model-service -h para ver todas as opções. Para instalar a linha de código, veja Instalar ou atualizar a CLI do Databricks.

API REST: Use POST /api/2.1/unity-catalog/model-services.

Terraform: Crie e gerencie um serviço modelo usando o provedor Databricks Terraform e databricks_ai_gateway_model_service.

SDKs Databricks: Crie e gerencie serviços de modelo com o SDK Databricks para Python, o SDK Databricks para Java, o SDK Databricks para Go ou o SDK Databricks para JavaScript.

Conceder acesso a um serviço de modelo

Para permitir que outros consultem um serviço de modelo, conceda a eles EXECUTE no serviço de modelo e USE CATALOG e USE SCHEMA em seu catálogo e esquema. Se o serviço de modelo registrar em uma tabela de inferência, conceda SELECT na tabela para permitir que eles leiam as solicitações e respostas registradas.

Para conceder acesso no Gerenciador de Catálogos:

  1. No Catalog Explorer, abra o serviço de modelo.
  2. Na guia Permissões, clique em Conceder.
  3. Selecione os usuários ou grupos aos quais conceder acesso, selecione o EXECUTE privilégio e clique em Conceder.

Certifique-se de que as mesmas entidades também tenham USE CATALOG e USE SCHEMA no esquema e no catálogo do serviço de modelo. Para permitir que eles leiam as solicitações e respostas registradas, conceda SELECT na guia Permissões da tabela de inferência.

Para obter mais informações sobre como conceder e descobrir acesso, consulte os serviços de modelo de governança.

Configurar recursos em um serviço de modelos

Você configura recursos como limites de taxa, registro de inferência e proteções no serviço de modelo a partir da interface do usuário do Gateway de IA do Unity, da mesma forma que os configura em um ponto de extremidade do Gateway de IA do Unity. See:

Registro de inferência

Quando você habilita o registro de inferência em log, o Azure Databricks cria uma nova tabela vazia do Unity Catalog com um esquema predefinido no local que você especificar. Observe o seguinte:

  • Você deve ter USE CATALOG, USE SCHEMA e CREATE TABLE no catálogo e no esquema de destino.
  • O criador do serviço de modelo é o proprietário da tabela de inferência. Nenhum outro usuário tem acesso, a menos que você conceda a ele.
  • Se uma tabela já existir no local especificado, a criação do serviço de modelo falhará.
  • A tabela de inferência tem um ciclo de vida independente do serviço de modelo. Se você excluir a tabela, o serviço de modelo continuará funcionando, mas interromperá o registro.

Para mais informações sobre tabelas de inferência, veja Solicitações de log e respostas a tabelas de inferência.

Excluir um serviço de modelo

Para excluir um serviço de modelo, você deve ter pelo menos o privilégio MANAGE nele. O proprietário tem um superconjunto de MANAGE.

Para excluir um serviço de modelo, abra-o no Explorador do Catálogo e selecioneExcluir no menu de três pontos.

Os serviços de modelo fornecidos pelo sistema em system.ai não podem ser excluídos.

Próximas Etapas 

  • Last updated on