Filtragem de itens de trabalho no Durable Task Scheduler

A filtragem de itens de trabalho é uma capacidade de roteamento no agendador de tarefas duráveis que entrega cada item de trabalho apenas aos trabalhadores que declaram hospedar a orquestração ou atividade correspondente. Fluxos de trabalho de produção frequentemente combinam etapas com diferentes necessidades de computação, como coordenação leve, atividades de alta escala e processamento especializado. Sem uma forma de rotear cada etapa de forma independente, essas etapas competem pela mesma capacidade ou forçam você a construir uma infraestrutura de coordenação separada para cada uma.

Esse roteamento depende de uma topologia de rede plana: cada trabalhador estabelece uma conexão de saída com o agendador, em vez de se conectar diretamente a outros trabalhadores. Como resultado, o agendador coordena o roteamento para você, sem descoberta de serviço, portas de entrada ou camada de comunicação dedicada para construir e operar por conta própria.

Neste artigo, você aprende quando usar filtragem de itens de trabalho e como o agendador direciona cada etapa para o cálculo que se encaixa nele.

Quando usar filtragem de itens de trabalho

A filtragem de itens de trabalho é mais útil quando as etapas de um único fluxo de trabalho têm requisitos de execução diferentes. Sem ele, cada etapa roda no mesmo pool de computação, então você dimensiona todo o fluxo de trabalho para a etapa mais exigente, e componentes especializados ou sempre ativos competem com todos os outros por capacidade. Os cenários a seguir mostram como rotear cada etapa para a capacidade computacional mais adequada resolve esse problema.

Combine computação sempre ativa com escalonamento até zero

Algumas partes de um aplicativo permanecem operando continuamente, enquanto outras não devem custar nada quando estão ociosas. Usando filtragem de itens de trabalho, você pode colocar cada etapa no nível de computação que se encaixa na carga de trabalho.

  • Execute os componentes sempre ativos em recursos de computação já prontos, como o AKS (Serviço de Kubernetes do Azure), para que as orquestrações se iniciem imediatamente.
  • Execute componentes com picos de demanda e orientados a eventos em plataformas serverless, como o Aplicativos de Contêiner do Azure ou o Azure Functions, que escalam de zero quando há trabalho e voltam a zero quando a carga de trabalho se esgota.

A filtragem garante que cada camada processe apenas as cargas de trabalho que hospeda, para que componentes com picos de demanda nunca prejudiquem os que ficam sempre ativos, e a computação com escala até zero só seja ativada para as atividades pelas quais é responsável. Para detalhes sobre autoscaling, veja Configurar autoescalonamento para Aplicativos de Contêiner do Azure.

Diagrama de um trabalhador orquestrador sempre ativo e um trabalhador de atividade escalável até zero conectando a saída ao agendador de tarefas duráveis.

Um worker de orquestração sempre ativo no Serviço de Kubernetes do Azure e um worker de atividade com escalonamento até zero no Aplicativos de Contêiner do Azure ou no Azure Functions estabelecem, cada um, uma conexão de saída com o Durable Task Scheduler.

Dimensione corretamente os recursos computacionais para cada etapa da atividade

Quando uma etapa consome muito mais memória ou CPU do que a demais, dimensionar toda a implantação para essa etapa desperdiça recursos. A filtragem de itens de trabalho permite alocar recursos por etapa dentro de um único fluxo de trabalho.

  • Dê à atividade exigente – por exemplo, uma etapa de agregação de dados que carrega um grande conjunto de dados na memória – seu próprio trabalhador em um SKU maior, e registre apenas essa atividade ali.
  • Execute cada outra etapa em trabalhadores menores e mais baratos.

Você dimensiona cada trabalhador conforme o trabalho que ele realiza, em vez de escalar uma implantação uniforme para atender aos requisitos do maior passo.

Diagrama dos pequenos trabalhadores SKU e um grande trabalhador SKU manuseando atividades através do Durable Task Scheduler.

Pequenos trabalhadores de SKU realizam atividades leves e um grande trabalhador de SKU realiza uma atividade que consome muita memória, com todos os trabalhadores sendo direcionados pelo Durable Task Scheduler.

Direcionar cargas de trabalho para hardware especializado

Uma única etapa em um fluxo de trabalho pode precisar de hardware especializado que o restante da aplicação não precisa. Por exemplo, um fluxo de trabalho roda principalmente no Azure Functions, mas uma etapa exige uma GPU para rodar um modelo de IA. O escalonador encaminha essa etapa para uma instância de trabalho em execução no Aplicativos de Contêiner do Azure, em uma infraestrutura com suporte a GPU, e, em seguida, o fluxo de trabalho continua no Azure Functions.

Implante um worker apoiado por GPU que registre apenas a atividade da GPU e mantenha o restante do fluxo de trabalho no seu cálculo padrão. O escalonador direciona os itens de trabalho de cada atividade para o worker projetado para ela, de modo que a infraestrutura de GPU execute apenas o trabalho que precisa dela.

Diagrama de um fluxo de trabalho do Durable Task Scheduler que distribui tarefas entre o Azure Functions e um worker do Aplicativos de Contêiner do Azure habilitado para GPU.

Um cliente inicia um fluxo de trabalho no Durable Task Scheduler. Azure Functions cuida da orquestração e das atividades da CPU, e um trabalhador do Aplicativos de Contêiner do Azure com GPU gerencia a atividade da GPU.

Como funciona o filtro de itens de trabalho

O Durable Task Scheduler divide a execução da orquestração em unidades de trabalho discretas chamadas itens de trabalho. Existem três tipos principais de itens de trabalho:

  • Itens de orquestração: Execute código de orquestrador que coordene o fluxo de trabalho.
  • Itens de trabalho da atividade: Executam funções de atividade individuais que realizam o trabalho efetivo, como validar um pedido ou enviá-lo.
  • Itens de trabalho da entidade: Execute operações em entidades duráveis que o agendador roteie pelo nome da entidade registrada.

Um trabalhador é qualquer processo que se conecta ao agendador para puxar e executar itens de trabalho. Um trabalhador pode hospedar orquestrações, atividades, entidades e qualquer combinação delas.

Entregar qualquer item de trabalho a qualquer trabalhador conectado funciona bem quando um único trabalhador, ou um grupo idêntico de trabalhadores, registra todas as tarefas no fluxo de trabalho. A filtragem de itens de trabalho oferece uma alternativa: você pode direcionar itens específicos para trabalhadores específicos. Cada trabalhador registra apenas as tarefas que hospeda, e o agendador encaminha apenas itens de trabalho correspondentes a ele.

Quando um trabalhador inicia, ele registra suas tarefas locais e opta por filtrar. O SDK gera uma lista de filtros a partir das tarefas registradas e a envia para o agendador quando o trabalhador se conecta. O agendador cria filas por filtro e roteia cada item de trabalho para a fila que corresponde ao tipo de tarefa. Um trabalhador tira apenas de filas que correspondem aos seus filtros.

Por exemplo, em um fluxo de trabalho de processamento de pedidos:

  1. O trabalhador Orquestrador registra OrderProcessingOrchestration e recebe apenas itens de trabalho de orquestração.
  2. O trabalhador do Validador registra ValidateOrder e recebe apenas itens de trabalho de atividade ValidateOrder.
  3. O trabalhador do Expedidor registra ShipOrder e recebe apenas itens de trabalho de atividade ShipOrder.

O roteamento é rigoroso. Não há alternativa para outro trabalhador:

  • Se nenhum trabalhador se registrar para uma tarefa específica, seus itens de trabalho permanecerão Pending até que um trabalhador correspondente se conecte.
  • A orquestração que depende dessa tarefa permanece no estado Running até que o item de trabalho pendente seja concluído.

Essa rigidez garante que o agendador nunca entregue um item de trabalho a um trabalhador que não consiga processá-lo.

Suporte para filtragem de itens de trabalho pelo Durable Task SDK

SDK de tarefa durável Filtragem de itens de trabalho
.NET Available
Java Available
Python Available
Go (beta) Available
JavaScript Ainda não disponível
PowerShell Ainda não disponível

Ativar a filtragem de itens de trabalho

Cada trabalhador registra apenas as tarefas que hospeda, e o SDK usa esse registro para gerar os filtros de itens de trabalho do trabalhador. Ativar o filtragem de itens de trabalho difere um pouco entre os SDKs.

O sistema gera automaticamente filtros de itens de trabalho a partir do que cada trabalhador registra em seu registro de tarefas, então você não precisa fazer uma chamada explícita.

builder.Services.AddDurableTaskWorker()
    .AddTasks(registry =>
    {
        registry.AddAllGeneratedTasks();
    })
    .UseDurableTaskScheduler(connectionString);

Note

No SDK de Tarefas Duráveis .NET, o registro de tarefas gera automaticamente filtros de itens de trabalho. Para sobrescrever os filtros gerados ou optar por não filtrar, chame UseWorkItemFilters(customFilters) ou UseWorkItemFilters(null), respectivamente.

Considerações

  • O roteamento estrito não tem fallback. Se nenhum trabalhador conectado registrar uma tarefa, os itens de trabalho da tarefa permanecem pendentes, e a orquestração dependente permanece no estado Running. Garanta que pelo menos um trabalhador hospede todas as tarefas que um fluxo de trabalho chama.
  • Incompatibilidades de registro durante atualizações. Quando você dividir ou renomear tarefas, implante os trabalhadores que hospedam as novas tarefas antes de agendar orquestrações que dependem delas.
  • Monitore o aguardo pendente. Use o painel de monitoramento para monitorar itens pendentes que indicem um trabalhador desaparecido ou com doença.
  • Dimensionamento automático. Quando você hospeda trabalhadores no Aplicativos de Contêiner do Azure, uma regra de escala KEDA (Kubernetes Event-driven Autoscaling) pode escalar cada trabalhador com base no acúmulo de tipos de itens de trabalho que ele registrou. Para mais informações, veja Configurar autoescalonamento para Aplicativos de Contêiner do Azure.

Próximas Etapas