Parametrize tarefas

Os parâmetros permitem passar valores para um trabalho e suas tarefas, além de referenciar valores entre as tarefas. Este artigo apresenta os tipos de parâmetro disponíveis no Lakeflow Jobs e como configurá-los na interface do usuário. Você também deve atualizar os ativos de código-fonte configurados como tarefas para referenciar parâmetros. As referências de parâmetro variam de acordo com o idioma e o tipo de tarefa. Consulte Acessar valores de parâmetro de uma tarefa.

A seguir estão os conceitos fundamentais para entender os parâmetros para trabalhos:

Observação

Para passar a configuração específica da implantação para o código do aplicativo como variáveis de ambiente em vez de parâmetros, use variáveis de ambiente para trabalhos sem servidor. Veja Configurar variáveis de ambiente para trabalhos serverless.

O que você pode fazer com parâmetros

Adicione parâmetros a trabalhos e tarefas para casos de uso avançados, incluindo o seguinte:

  • Adicionar lógica extensível a ativos de código.
  • Condicionalizar execuções.
  • Fazer referência a parâmetros comuns em várias tarefas.
  • Use as informações geradas em uma tarefa em outra tarefa.
  • Referenciar metadados e informações de estado na execução do trabalho.

Parâmetros de trabalho versus parâmetros de tarefa

Os parâmetros de trabalho são pares de chave-valor definidos no nível do trabalho. Você pode substituir as configurações padrão para parâmetros de trabalho ao Executar agora com parâmetros diferentes ou disparar uma execução de trabalho usando a API REST. Os parâmetros de trabalho são enviados por push para tarefas que usam parâmetros chave-valor. Outras tarefas podem fazer referência a parâmetros de trabalho usando referências de valor dinâmico.

Observação

Qualquer usuário com a permissão CAN MANAGE RUN ou superior em uma tarefa pode substituir os valores dos parâmetros da tarefa em uma execução manual usando Executar agora com parâmetros diferentes. Um valor de parâmetro padrão não é um controle de segurança. Para evitar alterações, restrinja as permissões do trabalho.

Os parâmetros de tarefa são pares chave-valor ou matrizes JSON definidas no nível da tarefa. Cada tipo de tarefa passa valores de tarefa para os ativos de código configurados de forma diferente. Por exemplo, as tarefas do notebook usam o submódulo dbutils.widgets, enquanto os scripts Python passam valores como argumentos para o script como se ele estivesse sendo chamado da linha de comando. As tarefas posteriores podem fazer referência a parâmetros de tarefas anteriores usando referências dinâmicas de valor. Consulte Acessar valores de parâmetro de uma tarefa.

Observação

Algumas tarefas não têm um campo Parâmetros dedicado, mas permitem referências a valores de tarefa ou referências de valor dinâmico em outros campos. Consulte Exemplos de comandos dbt parametrizados e Adicionar lógica de ramificação a um trabalho com a tarefa If/else.

Criar fluxos de trabalho usando valores dinâmicos

Os parâmetros de tarefa definidos com valores estáticos só podem ser substituídos atualizando a definição da tarefa. Definir um valor estático para um parâmetro de trabalho é apenas configurar um valor padrão, que você pode substituir ao Executar agora com parâmetros diferentes ou disparar uma execução de trabalho usando a API REST.

Use referências de valor dinâmico ao definir parâmetros de tarefa para implementar padrões como os seguintes:

  • Usar um parâmetro de trabalho como o output_table para uma tarefa e o input_table para outra.
  • Capture a saída de uma consulta de notebook como uma lista e faça loop sobre ela em uma tarefa Para cada.
  • Criar lógica de bifurcação com base no número de registros processados usando uma tarefa de condição If/else.
  • Consulte os parâmetros de outras tarefas.

Consulte referências de valor dinâmico.

  • Last updated on