Administración de presupuestos para Unity AI Gateway

Los presupuestos le ayudan a supervisar y controlar el gasto mensual de Unity AI Gateway mediante filtros aplicados a los registros de facturación. Puede definir un presupuesto específicamente para el producto Unity AI Gateway para realizar un seguimiento de los gastos de Unity AI Gateway o incluir Unity AI Gateway en un presupuesto de toda la cuenta.

Los administradores de cuentas y áreas de trabajo pueden ver un resumen del estado del presupuesto de IA y gastar en la página de INTELIGENCIA ARTIFICIAL del Centro de gobernanza.

Para más información sobre cómo crear y supervisar presupuestos, consulte Creación y supervisión de presupuestos.

Requirements

• Unity AI Gateway habilitado para su cuenta.

Cómo funcionan los presupuestos con Unity AI Gateway

Al crear un presupuesto, selecciona Unity AI Gateway como tipo de recurso para hacer un seguimiento únicamente de los gastos de Unity AI Gateway, incluidos los pagos por token, las inferencias de ai_query y el uso opcional de modelos externos.

Tipos de umbral: para los presupuestos definidos para Unity AI Gateway, puede configurar:

• Umbrales compartidos: límite de gasto colectivo para todos los usuarios dentro del ámbito de presupuesto.
• Umbrales por usuario: límite mensual que se aplica a cada usuario individual.
• Excepciones por usuario: Conceda a usuarios o grupos específicos un límite de gasto superior al límite predeterminado por usuario. Los usuarios afectados por una excepción pueden gastar hasta el importe de la excepción en lugar del límite predeterminado por usuario. Si un usuario pertenece a varios grupos de excepción, se aplica el umbral más alto.

Para umbrales compartidos y por usuario, puede configurar una o ambas de las acciones siguientes cuando se alcanza un umbral:

• Enviar alerta: envía una notificación por correo electrónico a direcciones configuradas. Los usuarios conservan el acceso a Unity AI Gateway.
• Bloquear el uso: impide que el usuario realice más solicitudes a través de Unity AI Gateway. El usuario ve un mensaje que indica que se agota su presupuesto. El acceso se reanuda después de que se restablezca el presupuesto o un administrador aumente el umbral.

Los administradores de cuentas pueden ver el gasto estimado casi en tiempo real en la página de detalles del presupuesto.

Incluir el uso de modelos externos

Cuando crees un presupuesto para Unity AI Gateway, selecciona Incluir uso de modelos externos para incluir el gasto estimado de solicitudes enviadas a modelos externos a través de servicios de proveedores de modelos.

Cuando está activado, el gasto en modelos externos cuenta para los umbrales compartidos y por usuario del presupuesto. Las acciones configuradas de alerta y de bloqueo del uso se aplican cuando el gasto combinado alcanza un determinado umbral. Si no seleccionas esta opción, el presupuesto excluye el gasto en modelos externos pero sigue incluyendo el uso de modelos alojados en Azure Databricks.

Azure Databricks estima el gasto en modelos externos derivados del uso de tokens y los precios publicados por el proveedor externo. Estos presupuestos pueden diferir de la factura final de tu proveedor. Para un análisis histórico del gasto en modelos externos, consulta la system.ai_gateway.external_model_spend tabla del sistema. Consulte Modelos externos.

Los filtros de etiquetas de presupuesto se aplican a las etiquetas de servicio del modelo. Las etiquetas de la solicitud están disponibles en la tabla del sistema externo de gastos de modelos, pero no afectan a la correspondencia con el presupuesto.

Limitations

• Actualmente, la inferencia de rendimiento provisionada no se registra.

• Cada presupuesto admite un máximo de cuatro umbrales compartidos y 20 anulaciones por usuario.

• Su cuenta puede tener un máximo de 1000 presupuestos.

• Los umbrales de uso de bloque se aplican de forma aproximada. La aplicación del límite utiliza una estimación del coste casi en tiempo real, por lo que el gasto real puede variar por encima o por debajo del umbral configurado. Esto significa lo siguiente:

  • Un usuario puede ser bloqueado antes de que su gasto real alcance el umbral.
  • Puede que se supere el umbral de gasto antes de que la aplicación entre en vigor. Las solicitudes activas en curso cuando se alcanza el umbral no se interrumpen.

  system.billing.usage sigue siendo la fuente de referencia para el uso real facturado por Databricks. En caso de discrepancias entre el uso registrado con respecto a un presupuesto y los costes reales, Azure Databricks puede ajustar retroactivamente las estimaciones del presupuesto para conciliarlos. Para el uso de modelos externos, la factura del proveedor externo es la fuente de verdad para los cargos reales del proveedor.

• Las cantidades de gasto en los correos de alerta de presupuesto, la página de detalles del presupuesto, system.billing.usage, y system.ai_gateway.external_model_spend pueden diferir si se comparan en el mismo momento. Esto se espera, porque cada origen se actualiza a una velocidad diferente:

  • Mensajes de correo electrónico de alertas de presupuesto: refleje el gasto en el momento en que se desencadenó la alerta.
  • Página de detalles del presupuesto: actualiza con frecuencia, pero puede mostrar una cantidad menor que un correo electrónico de alerta reciente cuando se ve poco después.
  • system.billing.usage: se actualiza cada pocas horas. La consulta de tablas del sistema poco después de recibir una alerta puede devolver una cifra de gasto menor que la página de detalles del presupuesto o los correos electrónicos de alerta.
  • system.ai_gateway.external_model_spend: Actualiza cada hora con el gasto estimado en modelos externos. Los presupuestos pueden diferir de la factura final de tu proveedor.

  El cumplimiento del presupuesto, incluidos los umbrales de bloqueo de uso y alertas, se basa en el seguimiento casi en tiempo real del gasto y no se ve afectado por el tiempo de actualización de la tabla del sistema.

Recursos adicionales

• Analizar el coste de Unity AI Gateway
• Crear y gestionar APIs modelo (servicios modelo)
• Creación y supervisión de presupuestos
• Administración de presupuestos y controles de costos para Genie