Gerencie orçamentos para o Unity Gateway

Orçamentos ajudam você a monitorar e controlar os gastos mensais do Unity Gateway usando filtros aplicados aos registros de faturamento. Você pode definir um orçamento especificamente para o produto Unity Gateway para acompanhar apenas os gastos com Unity Gateway, ou incluir o Unity Gateway em um orçamento para toda a conta.

Os administradores de conta e de espaço de trabalho podem visualizar um resumo do status do orçamento de IA e dos gastos na página de IA no Hub de Governança.

Para obter detalhes sobre como criar e monitorar orçamentos, consulte Criar e monitorar orçamentos. Para delegar quem pode visualizar e gerenciar um orçamento, veja Gerenciar permissões de orçamento.

Requirements

• Unity Gateway ativado para sua conta.

O que cobrem os orçamentos do Unity Gateway?

Os orçamentos do Unity Gateway cobrem os gastos que fluem pelo Unity Gateway:

• uso pago por token
• ai_query
• Gênio. Consulte Gerenciar orçamentos e controles de custo para o Genie.
• (Opcional) Provedores modelo externos (serviços de prestadores modelo).

Esses orçamentos não cobrem o seguinte:

• Capacidade provisionada
• Tráfego enviado diretamente para endpoints independentes de Model Serving que não passa pelo Unity Gateway

Como funcionam os orçamentos com o Unity Gateway

Ao criar um orçamento, selecione o Unity Gateway como tipo de recurso para acompanhar apenas os gastos do Unity Gateway.

Tipos de limite: Para orçamentos definidos para o Unity Gateway, você pode configurar:

• Limites compartilhados: um limite de gastos coletivos para todos os usuários dentro do escopo do orçamento.
• Limites por usuário: um limite mensal que se aplica a cada usuário individual.
• Exceções por usuário: conceda a usuários ou grupos específicos um limite de gastos maior que o limite padrão por usuário. Os usuários abrangidos por uma exceção podem gastar até o valor da exceção, em vez do limite padrão por usuário. Se um usuário pertencer a vários grupos de substituição, o limite mais alto se aplicará.

Para limites compartilhados e por usuário, você pode configurar uma ou ambas as seguintes ações quando um limite é atingido:

• Enviar alerta: envia uma notificação por email para endereços configurados. Os usuários mantêm acesso ao Unity Gateway.
• Uso de blocos: Impede que o usuário faça novas solicitações pelo Unity Gateway. O usuário vê uma mensagem informando que seu orçamento está esgotado. O acesso é retomado depois que o orçamento é redefinido ou um administrador aumenta o limite.

Administradores de contas podem visualizar estimativas de gastos quase em tempo real na página de detalhes do orçamento.

Incluir uso de modelos externos

Ao criar um orçamento para o Unity Gateway, selecione Incluir uso de modelos externos para incluir o gasto estimado de requisições roteadas para modelos externos por meio de serviços de provedores de modelo.

Quando habilitados, os gastos com modelos externos conta para os limites compartilhados e por usuário do orçamento. As ações configuradas de alerta e bloqueio de uso se aplicam quando os gastos combinados atingem um limite definido. Se você não selecionar essa opção, o orçamento exclui o gasto com modelos externos, mas continua incluindo o uso de modelos hospedados no Azure Databricks.

O Azure Databricks estima o gasto em modelos externos a partir do uso de tokens e os preços publicados pelo provedor externo. Essas estimativas podem diferir da sua fatura final de prestador. Para análise histórica do gasto em modelos externos, consulte a system.ai_gateway.external_model_spend tabela do sistema. Consulte modelos externos. Os gastos com modelos externos incluídos no orçamento refletem todo multiplicador de preço configurado no serviço do provedor de modelos.

Filtros de marca de orçamento se aplicam a marcas de serviço de modelo. As marcas de solicitação estão disponíveis na tabela do sistema de gastos de modelos externos, mas não afetam a correspondência de orçamento.

Limitations

• A inferência de taxa de transferência provisionada não é monitorada atualmente.

• Cada orçamento suporta no máximo quatro limites compartilhados e 100 substituições por usuário.

• Sua conta pode ter um máximo de 1.000 orçamentos.

• Os limites de uso de blocos são aplicados de forma aproximada. A fiscalização utiliza uma estimativa quase em tempo real do custo, então o gasto real pode variar acima ou abaixo do limite configurado. Isso significa que:

  • Um usuário pode ser bloqueado antes que seu gasto real atinja o limite.
  • Um valor de despesa acima do limite pode ocorrer antes que a aplicação de lei entre em vigor. Solicitações ativas em andamento quando o limite é atingido não são interrompidas.

  system.billing.usage permanece como fonte de verdade para o uso real faturado pelo Databricks. Para discrepâncias entre o uso acompanhado em relação ao orçamento e custos reais, o Azure Databricks pode ajustar retroativamente estimativas orçamentárias para conciliá-las. Para o uso de modelos externos, a fatura do prestador externo é a fonte de verdade para as cobranças reais do prestador.

• Os valores gastos nos e-mails de alerta de orçamento, na página de detalhes do orçamento, system.billing.usage e system.ai_gateway.external_model_spend podem variar quando comparados no mesmo momento. Isso é esperado, pois cada fonte é atualizada a uma taxa diferente:

  • E-mails de alerta de orçamento: refletem os gastos no momento em que o alerta foi disparado.
  • Página de detalhes do orçamento: atualiza com frequência, mas pode mostrar uma quantidade menor do que um email de alerta recente quando exibido pouco depois.
  • system.billing.usage: atualizações a cada poucas horas. Consultar tabelas do sistema logo após receber um alerta pode retornar um valor de gasto menor do que a página de detalhes do orçamento ou os emails de alerta.
  • system.ai_gateway.external_model_spend: Atualizado a cada hora com o gasto estimado com modelos externos. As estimativas podem diferir da fatura final do seu prestador.

  A imposição de orçamento, incluindo limites de bloqueio de uso e alerta, baseia-se no acompanhamento de gastos quase em tempo real e não é afetada pelo tempo de atualização da tabela do sistema.

Recursos adicionais

• Analisar o custo do Unity Gateway
• Criar um serviço de modelo personalizado
• Crie e monitore orçamentos
• Gerenciar permissões orçamentárias
• Gerenciar orçamentos e controles de custo para o Genie