Seguimiento del uso del modelo

Esta página describe cómo monitorizar el uso de los servicios Unity Gateway utilizando la tabla del sistema de seguimiento de uso.

La tabla de seguimiento de uso recoge detalles de solicitudes y respuestas para servicios modelo, servicios de proveedor modelo y servicios MCP. Para las solicitudes de modelo, registra métricas como el uso de tokens y la latencia. Para las solicitudes MCP, registra metadatos de llamadas y servicios. Utiliza la tabla para monitorizar a los usuarios, controlar los costes y analizar el uso y rendimiento del servicio.

El seguimiento del uso también registra las solicitudes ai_query a los servicios de modelos proporcionados por Databricks.

Los administradores de cuentas y áreas de trabajo pueden ver una visión general consolidada del uso de la inteligencia artificial en la página IA del Centro de gobernanza.

Requirements

• Un espacio de trabajo de Azure Databricks en una región soportada por Unity Gateway.
• Unity Catalog habilitado para su área de trabajo. Consulte Habilitar un área de trabajo para Unity Catalog.

Pricing

El seguimiento de uso es una función facturada de Unity Gateway. Azure Databricks cobra por el uso que registra en la tabla system.ai_gateway.usage. Consulta precios de Unity Gateway.

Consultar la tabla de uso

Unity Gateway registra los datos de uso en la system.ai_gateway.usage tabla del sistema. Puede ver la tabla en la interfaz de usuario o consultar la tabla desde Databricks SQL o un cuaderno.

Para ver la tabla en la interfaz de usuario, haga clic en el enlace de la tabla de seguimiento de uso en la página del servicio del modelo para abrir la tabla en Catalog Explorer.

Para consultar la tabla desde Databricks SQL o un cuaderno:

SELECT * FROM system.ai_gateway.usage;

Query the system.ai_gateway.usage table to analyze AI Gateway usage showing request count and total tokens, grouped by endpoint name for the last 7 days.

Panel de uso integrado

Crear panel de uso integrado

Los administradores de cuentas pueden crear un panel de uso integrado de Unity Gateway para monitorizar el uso, controlar costes y obtener información sobre el rendimiento y consumo de servicios del modelo. Desde la página de Unity Gateway, haz clic en Gobernar en la esquina superior derecha y luego haz clic en Crear Panel de Uso. El almacenamiento que ejecuta las consultas del panel se selecciona automáticamente.

Cuando haya disponible una versión más reciente del panel de uso integrado, los administradores de cuentas pueden hacer clic en Actualizar en la fila de versión del panel en el desplegable Gobernar en la página de Unity Gateway.

Puede usar las siguientes opciones de configuración del panel para administrar el panel:

• Ámbito: seleccione si se va a definir el ámbito del panel a la cuenta o al área de trabajo.
• Permisos: elija si las consultas se ejecutan mediante los permisos del propietario del panel o los permisos de cada visor. Consulte ¿Qué son los permisos de datos compartidos?.
• Actualizaciones automáticas: Cuando activas esta opción, el panel de control se actualiza automáticamente cada vez que hay una versión más reciente y un administrador de cuenta visita la página de Unity Gateway.

Cuando el panel se actualiza a la versión 0.3 o superior, se crea automáticamente una programación para actualizar el panel cada 6 horas. Si es necesario, esta programación se puede deshabilitar en el panel de Lakeview. Consulte Creación de una programación.

Visualización del panel de uso

Para ver el panel de control, haz clic en Gobernar en la esquina superior derecha de la página de Unity Gateway y luego haz clic en Uso del Panel de Control. El panel de control se abre en una nueva pestaña. El panel integrado ofrece una visibilidad completa del uso de servicios, rendimiento y coste del modelo Unity Gateway. Incluye varias solicitudes de seguimiento de páginas, consumo de tokens, métricas de latencia, tasas de error, desgloses de costos, tráfico externo del servidor MCP y actividad del agente de codificación.

El panel proporciona análisis entre áreas de trabajo de forma predeterminada. Todas las páginas del panel se pueden filtrar por intervalo de fechas e identificador de área de trabajo.

• Pestaña Información general: muestra métricas de uso de alto nivel, como el volumen diario de solicitudes, las tendencias de uso de tokens a lo largo del tiempo, los principales usuarios por consumo de tokens y el total de recuentos de usuarios únicos. Utiliza esta pestaña para obtener una instantánea rápida de la actividad general de Unity Gateway e identificar los usuarios y modelos más activos.
• Pestaña Rendimiento: realiza un seguimiento de las métricas clave de rendimiento, incluidos los percentiles de latencia (P50, P90, P95, P99), el tiempo hasta el primer byte, las tasas de error y las distribuciones de código de estado HTTP. Utiliza esta pestaña para supervisar el estado del servicio de modelos e identificar cuellos de botella en el rendimiento o problemas de fiabilidad.
• Pestaña de uso: muestra desgloses detallados del consumo por servicio de modelos, área de trabajo y usuario solicitante. En esta pestaña se muestran los patrones de uso de tokens, las distribuciones de solicitudes y las relaciones de aciertos de caché.
• Pestaña Observabilidad de costes: muestra desgloses de costes por servicio de modelo, modelo de destino, usuario, etiquetas de servicio y etiquetas de solicitud. Esta pestaña también incluye el costo estimado para los modelos externos. Consulta Analizar el coste de Unity Gateway.
• Pestaña del servidor MCP externo: Muestra el volumen de solicitudes, las tasas de error, los usuarios y las conexiones, y las tendencias diarias de uso del tráfico de servidores MCP externos.
• Pestaña de Agentes de Codificación: Rastrea la actividad de agentes de codificación integrados incluyendo Claude Code, Codex CLI, Cursor y Gemini CLI. En esta pestaña se muestran métricas como días activos, sesiones de codificación, confirmaciones y líneas de código agregadas o eliminadas para supervisar el uso de las herramientas para desarrolladores. Consulte El panel del agente de codificación para obtener más detalles.

Disponibilidad de los registros

Los registros suelen estar disponibles en menos de una hora. La entrega de datos para nuevos espacios de trabajo puede tardar más que esto.

Esquema de tabla de uso

La system.ai_gateway.usage tabla tiene el esquema siguiente:

Esquemas anidados de columnas

Las siguientes tablas describen los campos dentro de columnas anidadas STRUCT . La disponibilidad en el campo depende del servicio, modelo y cliente utilizado para la solicitud.

Metadatos de la invocación y del token

Metadatos del servicio MCP

Estos campos se rellenan en mcp_metadata para las filas MCP_SERVICE.

Metadatos de sesión

Los session_metadata campos ayudan a correlacionar las solicitudes dentro de una sesión y distinguir agentes de codificación, interfaces de cliente y configuraciones de solicitudes. Cada campo se rellena cuando la información correspondiente está disponible del cliente o la solicitud.

Solicitudes de etiquetas para el seguimiento de uso

Las etiquetas de solicitud son pares clave-valor personalizados que el autor de la llamada adjunta a solicitudes individuales. Use etiquetas de solicitud para atribuir el uso por proyecto, equipo, entorno, usuario final o cualquier otra dimensión relevante para su organización. Las etiquetas de solicitud se registran en la system.ai_gateway.usage tabla y se pueden usar para filtrar, agregar y analizar los datos de uso.

Para etiquetar solicitudes individuales, incluya la cabecera HTTP Databricks-Ai-Gateway-Request-Tags con un objeto JSON que asigna claves de cadena a valores de cadena. Las etiquetas de solicitud se registran en la request_tags columna de la tabla de uso y las tablas de inferencia.

Para ejemplos que muestran cómo establecer etiquetas de solicitud con la API REST, el SDK OpenAI y el SDK Anthropic, consulta Etiquetado de solicitudes.

Por ejemplo, puede agregar el uso por proyecto mediante etiquetas de solicitud:

SELECT
  request_tags['project'] AS project,
  COUNT(*) AS request_count,
  SUM(total_tokens) AS total_tokens
FROM system.ai_gateway.usage
WHERE request_tags['project'] IS NOT NULL
GROUP BY request_tags['project']
ORDER BY total_tokens DESC;

Limitations

• Unity Gateway no rastrea el uso de tokens para respuestas que no sean streaming ni embedding mayores a 1 MiB.

Recursos adicionales

• Gobernanza de IA con Unity Gateway
• Crear un servicio de modelo personalizado
• Consultar modelos fundacionales y de incrustación
• integración del agente de codificación
• Solicitudes de registro y respuestas a tablas de inferencia
• Aplicar límites de tarifa a los servicios modelo y MCP