Gérer les budgets pour Unity AI Gateway

Les budgets vous aident à surveiller et contrôler les dépenses mensuelles de la passerelle IA Unity à l’aide de filtres appliqués aux enregistrements de facturation. Vous pouvez définir un budget spécifiquement pour le produit Unity AI Gateway afin de suivre uniquement les dépenses liées à Unity AI Gateway, ou inclure Unity AI Gateway dans un budget à l’échelle du compte.

Les administrateurs de compte et d’espace de travail peuvent afficher un résumé de l’état budgétaire de l’IA et des dépenses sur la page IA dans Le Hub de gouvernance.

Pour plus d’informations sur la création et la surveillance des budgets, consultez Créer et surveiller des budgets.

Requirements

• Unity AI Gateway est activée pour votre compte.

Fonctionnement des budgets avec Unity AI Gateway

Lors de l’élaboration d’un budget, sélectionnez Unity AI Gateway comme type de ressource pour ne suivre que les dépenses de la passerelle Unity AI, y compris le paiement par jeton, ai_query inférence et l’utilisation optionnelle de modèles externes.

Types de seuil : Pour les budgets limités à Unity AI Gateway, vous pouvez configurer :

• Seuils partagés : limite de dépense collective pour tous les utilisateurs dans l’étendue budgétaire.
• Seuils par utilisateur : limite mensuelle qui s’applique à chaque utilisateur individuel.
• Dérogations par utilisateur : Accorder à certains utilisateurs ou groupes une limite de dépenses supérieure au plafond par défaut par utilisateur. Les utilisateurs couverts par une dérogation peuvent dépenser jusqu’au montant de la dérogation au lieu de la limite par défaut par utilisateur. Si un utilisateur appartient à plusieurs groupes de remplacement, le seuil le plus élevé s’applique.

Pour les seuils partagés et par utilisateur, vous pouvez configurer une ou les deux actions suivantes lorsqu’un seuil est atteint :

• Envoyer une alerte : envoie une notification par e-mail aux adresses configurées. Les utilisateurs conservent l’accès à Unity AI Gateway.
• Bloquer l’utilisation : empêche l’utilisateur d’effectuer d’autres requêtes via Unity AI Gateway. L’utilisateur voit un message indiquant que son budget est épuisé. L’accès reprend une fois le budget réinitialisé ou un administrateur augmente le seuil.

Les administrateurs de compte peuvent consulter les estimations de dépenses quasi en temps réel sur la page des détails du budget.

Inclure l’utilisation de modèles externes

Lorsque vous créez un budget pour une passerelle Unity AI, sélectionnez Inclure l’utilisation de modèles externes pour inclure les dépenses estimées issues des requêtes acheminées vers des modèles externes via les services du fournisseur de modèles.

Une fois activées, les dépenses de modèles externes comptent dans les seuils partagés et par utilisateur du budget. Les actions d’alerte configurée et d’utilisation par blocage s’appliquent lorsque la dépense combinée atteint un certain seuil. Si vous ne sélectionnez pas cette option, le budget exclut les dépenses de modèles externes mais continue d'inclure l'utilisation des modèles hébergés sur Azure Databricks.

Azure Databricks estime les coûts liés aux modèles externes à partir de l’utilisation de jetons et des tarifs publiés par le fournisseur externe. Ces devis peuvent différer de la facture finale de votre fournisseur. Pour analyser l’historique des coûts liés aux modèles externes, interrogez la table système system.ai_gateway.external_model_spend. Consultez les modèles externes.

Les filtres de balises à budget s’appliquent aux étiquettes de service modèles. Les balises de requête sont disponibles dans la table externe du système de suivi des dépenses des modèles, mais n’ont aucune incidence sur la correspondance budgétaire.

Limitations

• L'inférence de débit provisionné n'est actuellement pas suivie.

• Chaque budget prend en charge jusqu’à quatre seuils partagés et 20 dérogations par utilisateur.

• Votre compte peut avoir un maximum de 1 000 budgets.

• Les seuils d’utilisation des blocs sont appliqués de manière approximative. L’application de cette limite repose sur une estimation des dépenses en quasi temps réel ; les dépenses réelles peuvent donc être supérieures ou inférieures au seuil configuré. Cela signifie :

  • Un utilisateur peut être bloqué avant que sa dépense réelle n’atteigne le seuil.
  • Un montant de dépenses supérieur au seuil peut être réalisé avant que l’application ne prenne effet. Les requêtes actives en cours lorsque le seuil est atteint ne sont pas interrompues.

  system.billing.usage reste la source de vérité pour l’utilisation réelle facturée par Databricks. Pour les écarts entre l’utilisation suivie par rapport au budget et les coûts réels, Azure Databricks peut ajuster rétroactivement les estimations budgétaires pour les concilier. Pour l’utilisation de modèles externes, la facture du fournisseur externe est la source de véracité pour les frais réels du fournisseur.

• Les montants dépensés dans les emails d’alerte budgétaire, la page des détails du budget, system.billing.usage, et system.ai_gateway.external_model_spend peuvent différer lorsqu’ils sont comparés au même moment. Cela est attendu, car chaque source est mise à jour à un rythme différent :

  • E-mails d’alerte budgétaire : reflètez les dépenses au moment où l’alerte a été déclenchée.
  • Page de détails du budget : Se met à jour fréquemment, mais peut afficher un montant inférieur à celui indiqué dans un e-mail d’alerte récent si elle est consultée peu après.
  • system.billing.usage: mises à jour toutes les heures. L’interrogation des tables système peu de temps après réception d’une alerte peut retourner un chiffre de dépense inférieur à la page détails du budget ou aux e-mails d’alerte.
  • system.ai_gateway.external_model_spend: Mis à jour toutes les heures avec une estimation du coût des modèles externes. Les devis peuvent différer de la facture finale de votre fournisseur.

  L’application du budget, y compris le blocage de l’utilisation et les seuils d’alerte, est basée sur le suivi des dépenses en temps quasi réel et n’est pas affectée par le minutage de l’actualisation de la table système.

Ressources supplémentaires

• Analyser le coût de la passerelle Unity AI
• Créer et gérer des API modèles (services modèles)
• Créer et surveiller des budgets
• Gérer les budgets et les contrôles de coûts pour Genie