Genie Code para la observabilidad y evaluación del agente

Genie Code proporciona una interfaz en lenguaje natural para entender, depurar y mejorar tus agentes dentro de MLflow. Tiene acceso de lectura a todo lo que hay en el experimento, desde seguimientos, avisos y conjuntos de datos hasta ejecuciones de evaluación, puntuadores y sesiones de etiquetado, para que pueda explorar los datos de observabilidad y evaluación de forma conversacional en lugar de escribir consultas o navegar por varias páginas de interfaz de usuario.

Para empezar, haga clic en el icono Genie Code (Código de Genie) en la parte superior derecha del área de trabajo mientras ve un experimento.

Genie Code para la monitorización y evaluación de agentes

Capabilities

Genie Code puede ayudarle con una amplia gama de tareas de observabilidad y evaluación, entre las que se incluyen:

  • Análisis y depuración de seguimientos: investigue los seguimientos con fallos, busque errores, examine árboles de intervalo, identifique causas principales, analice la latencia e identifique cuellos de botella en el flujo de ejecución del agente. Profundice en cualquier seguimiento para inspeccionar su jerarquía completa, incluidas entradas, salidas, metadatos y uso de tokens en cada paso.
  • Métricas y desempeño: Calcular percentiles de latencia de cálculo (P50/P95/P99), realizar un seguimiento de las tasas de error y el rendimiento a lo largo del tiempo, analizar los patrones y costos de uso de tokens y comparar el desempeño en distintos períodos de tiempo o filtros.
  • Calidad y evaluaciones: revisión de las puntuaciones de evaluación de los comentarios humanos, los jueces de LLM y las verificaciones programadas. Inspeccione los conjuntos de datos de evaluación, compruebe los puntuadores registrados y sus configuraciones y obtenga ayuda para configurar mlflow.genai.evaluate() con los puntuadores correctos.
  • Etiquetado y revisión: vea las sesiones de etiquetado y quién está asignado para revisar los rastros, e inspeccione los esquemas de etiquetado para entender los criterios de feedback como clasificaciones, comentarios y expectativas.
  • Registro de indicaciones: explore las indicaciones en Unity Catalog, plantillas de vista, versiones y alias.
  • Guía de instrumentación: Obtenga ayuda para agregar seguimiento a su código con autolog(), @mlflow.trace o intervalos manuales, utilizando ejemplos de código que se pueden ejecutar y pegar directamente en cuadernos de Azure Databricks.

Nota:

Genie Code lee los datos registrados en tu experimento de MLflow: trazas, árboles de span, puntuaciones de evaluación, sesiones de etiquetado, indicaciones registradas y evaluadores. La función de análisis de trazas y depuración lee estos datos registrados, no el código fuente de tu aplicación. "Identificar causas raíz puntuales" significa identificar el span, el patrón de entrada o el paso de ejecución en las pistas donde ocurrió un fallo, no la línea de código fuente que lo causó. Las plantillas de prompts que no están registradas en el Catálogo de Unity también están fuera de su alcance.

Preguntas de ejemplo

Estas son algunas cosas que puede pedir a Genie Code:

  • "Ayúdeme a detectar problemas con la herramienta de mi agente que llama a los seguimientos de este experimento durante las 3 últimas horas"
  • "Identificar casos en los que los usuarios se frustran en las conversaciones con mi agente"
  • "¿Qué sesiones tienen las puntuaciones de comentarios de usuario más bajas y qué ha ido mal en esas conversaciones?"
  • "¿Cuáles son los patrones de error más comunes en mis seguimientos esta semana pasada, y qué puntuadores debo agregar para capturarlos?"
  • "¿Qué intervalos consumen más tokens en todos mis seguimientos?"
  • Buscar rastros donde el mecanismo de búsqueda no devolvió ningún resultado, pero el agente aun así intentó responder.
  • "Ayúdeme a configurar la evaluación para mi agente RAG con los puntuadores correctos"

Requisitos

Para usar Genie Code para la observabilidad y evaluación del agente, el área de trabajo necesita lo siguiente:

Recursos adicionales

  • Se actualizó por última vez el