Acessar valores de parâmetros de uma tarefa

Acede aos valores dos parâmetros a partir do código das suas tarefas, incluindo notebooks do Azure Databricks, scripts Python e ficheiros SQL.

Os parâmetros incluem parâmetros definidos pelo utilizador, valores de saída de tarefas anteriores e valores de metadados gerados pela tarefa. Consulte Parametrizar trabalhos.

Embora os detalhes variem de acordo com o tipo de tarefa, há quatro métodos comuns usados para referenciar valores de parâmetros do código-fonte:

• Widgets de utilitários Databricks
• Sintaxe do parâmetro nomeado SQL
• Referências de valores dinâmicos
• Argumentos de código

Em cada um destes casos, utiliza a chave do parâmetro para obter o respetivo valor. A chave às vezes é referida como o nome do parâmetro.

Para ver estas técnicas aplicadas num trabalho orientado por metadados que utiliza uma tarefa SQL e uma For each tarefa, veja Usar uma tabela de controlo para gerar um For each trabalho.

Usar dbutils no código em um notebook

O código do notebook em execução numa tarefa pode acessar os valores dos parâmetros com a biblioteca dbutils. O exemplo seguinte mostra como usar dbutils em Python para obter o valor de um parâmetro de tarefa year_param que é passado para a tarefa do caderno.

# Retrieve a job-level parameter
year_value = dbutils.widgets.get("year_param")

# Use the value in your code
display(babynames.filter(babynames.Year == year_value))

Os parâmetros são acessados pelo nome. Se um parâmetro de trabalho e um parâmetro de tarefa partilham uma chave, o parâmetro de tarefa tem precedência. Consulte Pushdown de parâmetros de trabalho.

O código acima produz um erro quando executado em um bloco de anotações autônomo e não como parte de um trabalho porque os parâmetros não são enviados para um bloco de anotações autônomo. Você pode definir um padrão para o parâmetro year_param com o seguinte código:

# Set a default (for when not running in a job)
dbutils.widgets.text("year_param", "2012", "Year Parameter")

# Retrieve a job-level parameter (will use default if it doesn't exist)
year_value = dbutils.widgets.get("year_param")

# Use the value in your code
display(babynames.filter(babynames.Year == year_value))

Embora isto seja útil para testes fora de uma tarefa, também oculta parâmetros de tarefa ou de job mal configurados.

Usar parâmetros nomeados em SQL

Quando está a executar SQL num bloco de notas ou numa tarefa de pipeline, pode usar a sintaxe de parâmetros nomeados para obter os parâmetros da tarefa. Por exemplo, para recuperar um parâmetro de tarefa chamado year_param, pode obter o seu valor usando :year_param na sua consulta:

SELECT *
FROM baby_names_prepared
WHERE Year_Of_Birth = :year_param
GROUP BY First_Name

Access como argumentos de código

Para alguns tipos de tarefas, os parâmetros são passados para o código como argumentos. Os seguintes tipos de tarefa têm argumentos passados para eles:

• Python script
• Python Wheel
• JAR
• Spark Submit

Para mais detalhes, consulte Detalhes por tipo de tarefa, mais adiante nesta página.

Para tarefas dbt, os parâmetros são passados chamando comandos dbt em sua tarefa.

Usar referências de valor dinâmico ao configurar uma tarefa

Quando estiver a configurar uma tarefa na interface do Azure Databricks, use a sintaxe de referência de valores dinâmicos para recuperar parâmetros de trabalho ou outros valores dinâmicos. Para recuperar parâmetros de trabalho, use a sintaxe: {{job.parameters.<name>}}. Por exemplo, ao configurar uma tarefa Python wheel, pode definir as entradas Key e Value de um parâmetro para referenciar um parâmetro Job chamado year_param, como year / Year_{{job.parameters.year_param}}. Além de fornecer acesso a parâmetros na configuração, os valores dinâmicos também lhe dão acesso a outros dados sobre o seu trabalho ou tarefa, por exemplo, o {{job.id}}. Você pode clicar em {} na configuração da tarefa para obter uma lista de possíveis valores dinâmicos e inseri-los em sua configuração.

Detalhes por tipo de tarefa

Qual desses métodos você usa depende do tipo de tarefa.