Tareas de larga duración del agente supervisor

En esta página se explica cómo controlar las tareas de ejecución prolongada mediante la continuación de tareas con el Agente supervisor.

Cuando un agente de supervisor trabaja en tareas complejas que requieren muchas llamadas a herramientas, es posible que la tarea necesite más tiempo que una sola solicitud de API. Para controlar esto, el supervisor admite el modo de tarea de ejecución prolongada, que divide automáticamente las tareas largas en varios ciclos de solicitud o respuesta para que el agente pueda seguir trabajando sin tiempo de espera.

Cómo funciona

  1. El supervisor comienza a procesar su solicitud, con llamada a herramientas y razonamiento según sea necesario.
  2. Antes de que se agote el tiempo de espera de la solicitud, el supervisor pausa la ejecución y emite un task_continue_request evento en la respuesta de streaming.
  3. Para reanudar la tarea, la aplicación envía una solicitud de seguimiento que incluye tanto el task_continue_request como el correspondiente task_continue_response.
  4. El supervisor retoma en el punto donde se quedó y continúa trabajando. Este ciclo se repite según sea necesario hasta que se complete la tarea.

Uso de tareas de ejecución prolongada en Playground

En AI Playground, Playground controla automáticamente la continuación de la tarea. Cuando el agente necesite más tiempo, Playground envía la respuesta de continuación en su nombre. Verá una sola conversación continua e ininterrumpida.

Control de la continuación de tareas en la API

Para habilitar tareas de larga duración, incluya "long_task": true en el databricks_options de su solicitud.

{
  "input": [{ "role": "user", "content": "Your message here" }],
  "databricks_options": {
    "long_task": true
  },
  "stream": true
}

Al usar la API de streaming directamente, la aplicación debe detectar task_continue_request eventos y enviar una solicitud de seguimiento para continuar con la tarea.

Detectar el evento de punto de control en la respuesta de streaming

El supervisor emite un evento similar al siguiente cuando necesita continuar:

{
  "type": "response.output_item.done",
  "item": {
    "type": "task_continue_request",
    "id": "continue_<unique-id>",
    "step": 16
  },
  "id": "resp_<response-id>"
}

El step campo indica el número total de pasos de llamada a herramientas completados hasta ahora.

Envío de una solicitud de seguimiento para reanudar

Incluya el task_continue_request original y un task_continue_response correspondiente en la parte de los mensajes de la siguiente solicitud.

{
  "messages": [
    "...previous messages...",
    {
      "type": "task_continue_request",
      "id": "continue_<unique-id>",
      "step": 16
    },
    {
      "type": "task_continue_response",
      "continue_request_id": "continue_<unique-id>"
    }
  ],
  "databricks_options": {
    "long_task": true
  },
  "stream": true
}

continue_request_id debe coincidir con id de task_continue_request.

Limitaciones conocidas

  • Si una sola llamada a una herramienta o al modelo supera el tiempo de espera de la API, es posible que la solicitud siga fallando por tiempo de espera, ya que el punto de control de continuación solo puede activarse entre pasos.
  • La compatibilidad completa con agentes de larga duración, incluidos los tiempos de espera durante llamadas individuales de herramientas o llamadas de modelo, aún no está disponible.
  • Last updated on