Observabilité de la passerelle IA Unity

L’observabilité de la passerelle Unity AI vous permet de surveiller le coût, l’utilisation, la performance et l’accès à chaque service IA depuis un seul plan de contrôle, soutenu par des tables système Unity Catalog. À mesure que les équipes adoptent des agents de codage, des copilotes et des agents personnalisés à travers l’organisation, il devient de plus en plus difficile de savoir qui accède à quels modèles ou outils, combien ils coûtent, et si les terminaux sont sains. Parce que chaque requête passe par la passerelle Unity AI, vous pouvez répondre à ces questions en un seul endroit.

Spécifications

• Espace de travail Azure Databricks dans une région prise en charge par Unity AI Gateway.
• Le tableau de bord d’utilisation intégré de la passerelle IA Unity. Un administrateur de compte peut le créer en utilisant le tableau de bord AI Gateway > Govern > Create Usage. Voir Créer un tableau de bord d’utilisation intégré.

Surveiller le coût

Depuis l’interface de l’espace de travail, accédez à AI Gateway > Govern > Usage Dashboard > Cost Analysis pour suivre les dépenses en dollars par point de terminaison, modèle de base fourni par Azure Databricks ou utilisateur au fil du temps. Le tableau de bord intégré s’appuie sur les tableaux d’utilisation et de facturation :

• system.ai_gateway.usage Affiche des métriques d’utilisation telles que le nombre de jetons et les détails des demandeurs pour chaque requête acheminée via la passerelle
• system.billing.usage et system.billing.list_prices suivent respectivement la consommation Azure Databricks en unités Databricks (DBU) et le prix catalogue, que vous pouvez combiner pour estimer les dépenses liées aux modèles de base (voir comment estimer les dépenses liées aux modèles de base)
• system.ai_gateway.external_model_spend enregistre le montant des dépenses estimées en USD, agrégé toutes les heures, pour les requêtes acheminées vers des modèles externes via les services de fournisseur de modèles

Pour attribuer les dépenses selon des dimensions personnalisées, utilisez des tags de requête ou de service pour regrouper les coûts par unité métier, projet ou toute dimension qui intéresse votre organisation ( voir Suivre les dépenses du modèle de fondation par utilisateur, équipe ou projet).

Voir Analyser le coût de la passerelle Unity AI.

Surveiller l’utilisation et les performances

Le tableau de bord d’utilisation de la passerelle IA Unity (AI Gateway > Govern > Usage Dashboard) suit le volume des requêtes, la consommation de jetons et la latence pour tous les points de terminaison gérés par la passerelle. Chaque modèle ou service MCP dispose également d’un onglet Métriques intégré pour la surveillance de la santé sans quitter l’interface de l’Explorateur de Catalogue. Pour une analyse plus approfondie, interrogez la system.ai_gateway.usage table afin d’analyser les métriques d’utilisation telles que le nombre de jetons, la latence, le requêteur et les balises requête pour chaque requête routée via la passerelle (voir le schéma de la table d’utilisation).

Utilisations courantes :

• Surveillez et optimisez tous vos services d’IA au même endroit, sur toute votre pile d’IA
• Suivre l’adoption des agents de codage et la popularité du modèle au sein des équipes
• Identifier les utilisateurs, services et modèles les plus actifs afin de repérer les opportunités d’optimisation

Voir Suivre l’utilisation du modèle.

Inspectez les demandes et réponses

Activez les tables d’inférence sur un service modèle pour enregistrer les charges utiles de requêtes et de réponses dans une table Unity Catalog. Utiliser des tables d’inférence pour :

• Résoudre les problèmes de réponses en échec ou inattendues
• Vérifiez que les mécanismes de protection fonctionnent, comme le masquage des données personnelles
• Audit de l’exposition aux données sensibles

Voir Requêtes de journal et réponses aux tables d’inférence.

Accès à l’audit

Interrogez le system.access.audit tableau pour prouver qui a accédé à quel service d’IA et quand. Pour distinguer un appelant humain d’un agent agissant en son nom, utilisez les run_by champs et run_as dans identity_metadata.

Utilisations courantes :

• Créer un parcours d’accès pour la conformité et les rapports réglementaires
• Distinguer un appelant humain d’un agent agissant en son nom
• Maintenez une trace d’audit centrale entre les agents de codage utilisés par vos équipes

Consultez la référence de la table de système d’audit.

Suivre les dépendances

Lineage suit les dépendances entre les modèles de fondation et les Services Modèles, ainsi que leurs consommateurs en aval. Utilisez la lignée pour évaluer l’impact de la dépréciation ou de la modification d’un service modèle et informez ses propriétaires.

Consultez traçabilité dans le catalogue Unity.

Ressources additionnelles

• Gouvernance de l’IA avec Unity AI Gateway
• Utilisation du modèle de voie
• Analyser le coût de la passerelle Unity AI
• Requêtes de journal et réponses aux tables d’inférence
• Gérer les budgets pour Unity AI Gateway