Filtrado de elementos de trabajo en el Planificador de Tareas Durable

El filtrado de elementos de trabajo es una capacidad de enrutamiento en el Planificador de Tareas Duradero que entrega cada elemento de trabajo solo a los trabajadores que declaran alojar la orquestación o actividad correspondiente. Los flujos de trabajo de producción suelen combinar pasos con diferentes necesidades de cómputo, como coordinación ligera, actividades a gran escala y procesamiento especializado. Sin una forma de enrutar cada paso de forma independiente, esos pasos compiten por la misma capacidad o te obligan a construir una infraestructura de coordinación separada para cada uno.

Este enrutamiento se basa en una topología de red plana : cada trabajador se conecta de salida al planificador en lugar de directamente a otros trabajadores. Como resultado, el planificador coordina el enrutamiento por usted, sin necesidad de implementar ni gestionar usted mismo el descubrimiento de servicios, los puertos de entrada ni una capa de comunicación dedicada.

En este artículo, aprenderá cuándo utilizar el filtrado de elementos de trabajo y cómo el programador enruta cada paso al recurso de proceso que mejor se adapta a él.

Cuándo usar el filtrado de elementos de trabajo

El filtrado de elementos de trabajo es más útil cuando los pasos de un mismo flujo de trabajo tienen diferentes requisitos de tiempo de ejecución. Sin él, cada paso se ejecuta sobre el mismo conjunto de cálculos, así que dimensionas todo el flujo de trabajo según su paso más exigente, y los componentes especializados o siempre activos compiten con todo el resto por capacidad. Los siguientes escenarios muestran cómo asignar cada paso al recurso de cómputo más adecuado resuelve ese problema.

Combina recursos de proceso siempre activos y escalables a cero

Algunas partes de una aplicación permanecen en funcionamiento continuo, mientras que otras no deberían costar nada cuando están inactivas. Mediante el filtrado de elementos de trabajo, puedes ubicar cada paso en el nivel de proceso que mejor se adapte a su carga de trabajo.

  • Ejecuta componentes siempre activos en ready compute, como Azure Kubernetes Service (AKS), para que las orquestaciones comiencen inmediatamente.
  • Ejecuta componentes intermitentes y orientados a eventos en servicios de proceso sin servidor, como Azure Container Apps o Azure Functions, que se escalan desde cero cuando llega la carga de trabajo y vuelven a cero cuando esta se agota.

El filtrado garantiza que cada capa procese solo la carga de trabajo que aloja, de modo que los componentes con picos de actividad nunca acaparen recursos en detrimento de los que están siempre en ejecución, y que la computación con escalado a cero solo se ponga en marcha para las actividades que tiene asignadas. Para detalles sobre el autoescalado, consulta Configurar autoescalabilidad para Azure Container Apps.

Diagrama de un proceso de trabajo de orquestación siempre activo y un proceso de trabajo de actividad con escalado a cero, con conexión saliente a Durable Task Scheduler.

Un trabajador de orquestación siempre activo en Azure Kubernetes Service y un trabajador de actividades escalable a cero en Azure Container Apps o Azure Functions se conectan externamente al Durable Task Scheduler.

Dimensione adecuadamente la capacidad de procesamiento para cada paso de la actividad

Cuando un paso usa mucha más memoria o CPU que el resto, dimensionar todo el despliegue de ese paso desperdicia recursos. El filtrado de elementos de trabajo te permite asignar recursos por paso dentro de un único flujo de trabajo.

  • Asigna a la actividad exigente —por ejemplo, un paso de agregación de datos que carga un gran conjunto de datos en memoria— a su propio trabajador en un SKU mayor, y registra solo esa actividad allí.
  • Ejecuta cada dos pasos en trabajadores más pequeños y económicos.

Dimensionas a cada trabajador según el trabajo que realiza, en lugar de escalar un despliegue uniforme para cumplir con los requisitos del escalón más grande.

Diagrama de los trabajadores de SKU pequeño y un trabajador de SKU grande que gestionan actividades mediante Durable Task Scheduler.

Los trabajadores SKU pequeños se encargan de actividades ligeras y un trabajador SKU grande se encarga de una actividad que requiere mucha memoria, con todos los trabajadores redirigidos a través del Planificador de Tareas Duraderas.

Dirigir el trabajo a hardware especializado

Un solo paso en un flujo de trabajo puede necesitar hardware especializado que el resto de la aplicación no necesita. Por ejemplo, un flujo de trabajo se ejecuta principalmente en Azure Functions, pero un paso requiere que una GPU ejecute un modelo de IA. El planificador asigna ese paso a un trabajador que se ejecuta en Azure Container Apps en una infraestructura con GPU, y el flujo de trabajo continúa en Azure Functions.

Despliega un worker respaldado por GPU que registre solo la actividad de la GPU y mantén el resto del flujo de trabajo en tu cómputo estándar. El planificador dirige los elementos de trabajo de cada actividad al ejecutor diseñado para ella, de modo que la infraestructura de GPU ejecute solo el trabajo que la necesita.

Diagrama de un flujo de trabajo del Durable Task Scheduler que enruta cargas de trabajo entre Azure Functions y una instancia de trabajo de Azure Container Apps habilitada para GPU.

Un cliente inicia un flujo de trabajo en el Durable Task Scheduler. Azure Functions gestiona la orquestación y las actividades de CPU, y un trabajador de Azure Container Apps con GPU se encarga de la actividad de GPU.

Cómo funciona el filtrado de elementos de trabajo

El Planificador de Tareas Durable divide la ejecución de la orquestación en unidades de trabajo discretas llamadas elementos de trabajo. Existen tres tipos principales de trabajo:

  • Elementos de orquestación: Ejecuta código de orquestador que coordine el flujo de trabajo.
  • Elementos de trabajo de actividad: ejecutan funciones de actividad individuales que realizan el trabajo real, como validar un pedido o enviarlo.
  • Elementos de trabajo de entidad: ejecutan operaciones en entidades duraderas que el programador enruta según el nombre de entidad registrado.

Un trabajador es cualquier proceso que se conecta al programador para recuperar y ejecutar elementos de trabajo. Un trabajador puede alojar orquestaciones, actividades, entidades y cualquier combinación de ellas.

Entregar cualquier elemento de trabajo a cualquier trabajador conectado funciona bien cuando un solo trabajador, o un grupo idéntico, registra todas las tareas en el flujo de trabajo. El filtrado de elementos de trabajo te ofrece una alternativa: puedes enrutar elementos específicos a trabajadores concretos. Cada trabajador registra solo las tareas que aloja, y el planificador solo enruta los elementos de trabajo que coinciden con él.

Cuando un trabajador inicia, registra sus tareas locales y opta por filtrar. El SDK genera una lista de filtros a partir de las tareas registradas y la envía al planificador cuando el trabajador se conecta. El planificador crea colas por filtro y enruta cada elemento de trabajo a la cola que coincide con el tipo de tarea. Un trabajador solo extrae de colas que coinciden con sus filtros.

Por ejemplo, en un flujo de trabajo de procesamiento de pedidos:

  1. El trabajador de Orchestrator registra OrderProcessingOrchestration y recibe solo elementos de trabajo de orquestación.
  2. El trabajador Validador registra ValidateOrder y recibe solo ValidateOrder los elementos de trabajo de actividad.
  3. El trabajador del Transportista registra ShipOrder y recibe únicamente ShipOrder los elementos de trabajo de la actividad.

El enrutamiento es estricto. No hay un plan alternativo con otro trabajador:

  • Si ningún trabajador registra una tarea determinada, sus elementos permanecen Pending hasta que un trabajador coincidente se conecte.
  • La orquestación que depende de esa tarea permanece en el estado Running hasta que se complete el elemento de trabajo pendiente.

Esta rigidez garantiza que el programador nunca entregue un elemento de trabajo a un trabajador que no pueda procesarlo.

Soporte para filtrado de elementos de trabajo mediante Durable Task SDK

SDK de tareas persistentes Filtrado de elementos de trabajo
.NET Available
Java Available
Python Available
Go (beta) Available
JavaScript Todavía no está disponible
PowerShell Todavía no está disponible

Activar el filtrado de elementos de trabajo

Cada trabajador registra solo las tareas que aloja, y el SDK utiliza ese registro para generar los filtros de elementos de trabajo del trabajador. Activar el filtrado de elementos de trabajo varía ligeramente entre SDK.

El sistema genera automáticamente filtros de objetos de trabajo a partir de lo que cada trabajador registra en su registro de tareas, así que no necesitas hacer una llamada explícita.

builder.Services.AddDurableTaskWorker()
    .AddTasks(registry =>
    {
        registry.AddAllGeneratedTasks();
    })
    .UseDurableTaskScheduler(connectionString);

Note

En el SDK de tareas duraderas .NET, el registro de tareas genera automáticamente filtros de elementos de trabajo. Para anular los filtros generados o optar por no filtrar, llama UseWorkItemFilters(customFilters) o UseWorkItemFilters(null), respectivamente.

Consideraciones

  • El enrutamiento estricto no tiene alternativa. Si ningún trabajador conectado registra una tarea, los elementos de trabajo de la tarea permanecen pendientes y la orquestación dependiente permanece en el estado Running. Asegúrate de que al menos un trabajador aloje cada tarea que un flujo de trabajo llame.
  • Incompatibilidades de registro durante las actualizaciones. Cuando dividas o renombres tareas, despliega a los trabajadores que alojan las nuevas tareas antes de programar orquestaciones que dependan de ellas.
  • Monitoriza el atraso pendiente. Utiliza el panel de control para vigilar los trabajos pendientes que indiquen la falta o la enfermedad de un trabajador.
  • Escalado automático. Cuando se hospedan trabajadores en Azure Container Apps, una regla de escalado KEDA (Kubernetes Event-driven Autoscaling) puede escalar cada trabajador en función de la cola de trabajo de los tipos de elementos de trabajo que haya registrado. Para más información, consulta Configurar autoescalado para Azure Container Apps.

Pasos siguientes