Inicio rápido: Optimizar un agente de prompt (versión preliminar)

En esta guía de inicio rápido, utilice el asistente de optimización del portal de Foundry para mejorar las instrucciones de un agente de solicitudes, las descripciones de herramientas de llamada a funciones y la selección del modelo. Seleccione una versión del agente, un conjunto de datos y evaluadores, ejecute el optimizador y compare los candidatos generados con la línea base.

Si no tiene una suscripción a Azure, cree una cuenta gratuita.

Prerrequisitos

Antes de comenzar, necesita lo siguiente:

• Un proyecto de Microsoft Foundry con un agente de indicaciones desplegado. Para crear uno, consulte Inicio rápido: Creación de un agente de solicitud.
• Un modelo de evaluación y un modelo de optimización admitido implementado en el proyecto. Para ver los modelos admitidos, consulte Modelos.
• Origen de un conjunto de datos: seguimientos del agente, un conjunto de datos de evaluación registrado en el proyecto o un conjunto de datos JSONL que se va a cargar. El conjunto de datos debe usar los nombres de columna requeridos por los evaluadores seleccionados porque el asistente no admite la asociación de columnas.

Abrir el Asistente para optimización

1. Vaya al portal de Foundry y abra el proyecto.
2. Seleccione Agentes y, a continuación, seleccione el agente de solicitud que desea optimizar.
3. Seleccione la pestaña Optimizar .
4. Seleccione Crear ejecución de optimización.

Selección del destino de optimización

El objetivo define la versión de prompt-agent y los modelos candidatos que se evaluarán.

1. En el paso Destino , seleccione la versión del agente que se va a usar como línea base. La versión más reciente está seleccionada de forma predeterminada.
2. Seleccione el modelo de optimización, el número máximo de candidatos y el modelo de evaluación.
3. Para evaluar candidatos en varias implementaciones de modelos, active Comparar entre modelos y, a continuación, seleccione los modelos que se van a incluir.
4. Continúe con el paso Conjunto de datos .

El optimizador puede generar candidatos que mejoran las instrucciones del agente, las descripciones de la herramienta de llamada a funciones o la selección del modelo. No se admiten otros tipos de herramientas para la optimización de la descripción de herramientas.

Selección de un conjunto de datos de evaluación

El optimizador usa el mismo conjunto de datos para puntuar la línea base y cada candidato generado.

1. En el paso Conjunto de datos , elija una de estas opciones:

   • Genera un conjunto de datos a partir de trazas del agente.
   • Seleccione un conjunto de datos existente registrado en el proyecto.
   • Cargue un nuevo conjunto de datos desde el dispositivo.

2. Obtenga una vista previa del conjunto de datos y confirme que contiene las columnas necesarias para los evaluadores.

3. Continúe con el paso Criterios .

Use tareas representativas, incluidas las solicitudes comunes, los casos perimetrales y los comportamientos que desea que el optimizador conserve o mejore.

Seleccionar criterios de evaluación

Los evaluadores definen cómo puntúa el optimizador cada respuesta.

1. En el paso Criterios , seleccione uno o varios evaluadores:

   • Seleccione evaluadores integrados y configure los parámetros necesarios.
   • Seleccione un evaluador personalizado existente.
   • Cree un evaluador de rúbrica personalizado y luego selecciónelo.

2. Confirme que cada evaluador es compatible con el esquema del conjunto de datos.

3. Continúe con el paso Revisar .

Revisar y enviar la ejecución

1. En el paso Revisar , compruebe el agente y la versión, el conjunto de datos, los evaluadores, las configuraciones del evaluador y los modelos candidatos.

   Note

   El costo estimado es un intervalo modelado, no un límite de gasto ni un cargo final. Revise las entradas de cálculo, las suposiciones de precios y las exclusiones antes de enviar el trabajo. Para más información, consulte Estimaciones de costos del optimizador del agente y uso de tokens.

   En el resumen se muestran los valores Mínimo, Estimado y Máximo . Amplía Desglose de costes (estimado) para revisar las llamadas y los costes estimados de ejecutar tu agente, evaluar respuestas y generar mejoras.

2. Seleccione Enviar.

3. Espere a que finalice la ejecución de optimización. La ejecución aparece en la lista De ejecuciones de optimización con su estado actual.

El tiempo de ejecución depende del tamaño del conjunto de datos, el número de candidatos y los modelos seleccionados.

Comparación de los resultados

1. Cuando la ejecución se realice correctamente, selecciónela en Ejecuciones de optimización.
2. Compare la puntuación de cada candidato con la puntuación de línea base.
3. Revise los cambios de instrucciones antes y después.
4. Inspeccione las puntuaciones por evaluador y, si seleccionó varios modelos, compare los resultados de cada modelo.
5. Seleccione el candidato que proporciona una mejora significativa de la calidad sin un aumento inaceptable en el uso o el costo de los tokens.

La vista de uso de tokens de la ejecución completada agrupa los tokens de entrada, salida y total medidos por fase y modelo. Muestra el número de tokens en lugar de un importe final en moneda. Un modelo o valor de uso que falta significa que el uso no se atribuyó o midió, no que era gratuito. Para obtener más información, consulte Uso de tokens medidos después de la ejecución.

Si cada candidato tiene una puntuación inferior a la línea base, mantenga el agente actual. Revise el conjunto de datos, evaluadores o la configuración de optimización antes de volver a ejecutar el optimizador.

Promover un candidato

Promover al candidato seleccionado para crear una nueva versión del agente de solicitudes.

1. En la página de la ejecución completada, seleccione Promocionar candidato.
2. En Promover el candidato como nueva versión del agente, seleccione el candidato que desea promover.
3. Revise la versión activa actual y la mejora de puntuación del candidato seleccionado sobre la línea base.
4. Seleccione Convertir en versión de agente.

La promoción crea una nueva versión del agente con la configuración optimizada del candidato. Si el agente está anclado a una versión específica, la nueva versión no recibe tráfico hasta que la establezca como la versión activa en los detalles del agente.

Lo que ha aprendido

En esta guía de inicio rápido, aprenderá a:

• Se inició una ejecución de optimización de prompt-agent en el portal de Foundry.
• Se ha seleccionado un conjunto de datos, evaluadores y modelos candidatos.
• Comparó los candidatos optimizados con la línea de base prompt-agent.
• Promovió al candidato seleccionado a una nueva versión de prompt-agent.

Contenido relacionado

• Introducción al optimizador de agentes
• Estimaciones de costos del optimizador del agente y uso de tokens
• Inicio rápido: Optimización de un agente hospedado
• Conversión de seguimientos del agente en conjuntos de datos de evaluación