Observabilidade do Unity AI Gateway

A observabilidade do Unity AI Gateway permite monitorar custo, uso, desempenho e acesso para cada serviço de IA a partir de um único plano de controle, apoiado por tabelas do sistema Unity Catalog. À medida que as equipes adotam agentes de codificação, copilotos e agentes personalizados em toda a organização, fica mais difícil ver quem acessa quais modelos ou ferramentas, quanto custam e se os endpoints são saudáveis. Como toda requisição passa pelo Unity AI Gateway, você pode responder essas perguntas em um só lugar.

Requirements

• Um workspace do Azure Databricks em uma região com suporte ao Gateway de IA Unity.
• O painel de uso do Unity AI Gateway integrado. Um administrador da conta pode criá-lo usando AI Gateway > Govern > Criar painel de uso. Veja Criar painel de uso integrado.

Monitorar o custo

Na interface do workspace, vá para AI Gateway > Govern > Usage Dashboard > Cost Analysis para acompanhar o gasto em dólares por endpoint, modelo fundamental fornecido pela Azure Databricks ou por usuário ao longo do tempo. O painel embutido se baseia em tabelas de uso e faturamento:

• system.ai_gateway.usage registra métricas de uso, como contagem de tokens e detalhes do requisitante, para cada requisição roteada pelo gateway
• system.billing.usagee system.billing.list_prices acompanhar o consumo do Azure Databricks em unidades Databricks (DBUs) e preço de lista, respectivamente, que você pode associar para estimar o gasto do modelo de fundação (veja como estimar o gasto do modelo de fundação)
• system.ai_gateway.external_model_spend registra o gasto estimado em USD, agregado por hora, para solicitações roteadas para modelos externos por meio de serviços de provedores de modelos

Para atribuir gastos de acordo com dimensões personalizadas, use etiquetas de solicitação ou serviço para agrupar custos por unidade de negócio, projeto ou qualquer dimensão que sua organização valorize (veja Rastrear o gasto do modelo de fundação por usuário, equipe ou projeto).

Veja Analisar o custo do Unity AI Gateway.

Uso e desempenho do monitor

O painel de uso do Unity AI Gateway (AI Gateway > Govern > Usage Dashboard) acompanha o volume de solicitações, o consumo de tokens e a latência para todos os endpoints governados pelo gateway. Cada Modelo ou Serviço MCP também possui uma aba de Métricas embutida para monitoramento de saúde sem sair da interface do Explorador de Catálogos. Para uma análise mais aprofundada, consulte a system.ai_gateway.usage tabela para analisar métricas de uso como contagem de tokens, latência, requerente e tags de requisição para cada requisição roteada pelo gateway ( veja o esquema da tabela de uso).

Utilizações comuns:

• Monitore e otimize todos os seus serviços de IA de um só lugar, em toda a sua pilha de IA
• Acompanhe a adoção de agentes de codificação e a popularidade do modelo entre as equipes
• Identifique os usuários, serviços e modelos mais ativos para identificar oportunidades de otimização

Veja Rastrear uso do modelo.

Inspecionar solicitações e respostas

Ative tabelas de inferência em um serviço modelo para registrar cargas úteis de requisições e respostas em uma tabela do Unity Catalog. Use tabelas de inferência para:

• Solução de problemas com falhas ou respostas inesperadas
• Verifique se as proteções estão funcionando, como o mascaramento de PII
• Auditoria de exposição a dados sensíveis

Veja Solicitações de log e respostas às tabelas de inferência.

Acesso de auditoria

Consulte a system.access.audit tabela para provar quem acessou qual serviço de IA e quando. Para distinguir um chamador humano de um agente que atua em nome dessa pessoa, use os campos run_by e run_as em identity_metadata.

Utilizações comuns:

• Produzir uma trilha de acesso para relatórios de conformidade e regulatórios
• Distinga um chamador humano de um agente agindo em seu nome
• Mantenha uma trilha central de auditoria entre os agentes de codificação que suas equipes usam

Confira Tabela de referência do sistema de logs de auditoria.

Controlar dependências

Lineage rastreia as dependências entre modelos fundamentais e serviços de modelo, bem como seus consumidores downstream. Use a linhagem para avaliar o impacto de depreciar ou alterar um Serviço Modelo e notifique seus proprietários.

Consulte Linhagem no Unity Catalog.

Recursos adicionais

• Governança de IA com o Gateway de IA do Unity
• Uso do modelo de trilhos
• Analise o custo do Unity AI Gateway
• Solicitações de log e respostas às tabelas de inferência
• Gerenciar orçamentos para o Gateway de IA do Unity