Utilização de parâmetros no Lakeflow Designer

Os parâmetros no Lakeflow Designer são valores nomeados definidos para a preparação visual de dados como um todo. Pode referenciar parâmetros em código de operadores SQL e Python, em campos de configuração de operadores suportados e em expressões que ativam ou desativam operadores. Os parâmetros permitem executar a mesma preparação visual de dados contra diferentes ambientes, por exemplo, um catálogo de testes durante o desenvolvimento e um catálogo de produção em produção.

Requirements

  • Para criar parâmetros ou alterar associações aos campos, deve ter permissão para editar a preparação visual de dados.
  • Para parametrizar um grupo, deve ter permissão para
    • editar a preparação visual de dados
    • Executar pré-visualizações

Definir parâmetros

Para gerir parâmetros, selecione Parâmetros no painel esquerdo. Cada parâmetro tem um valor que defines ao defini-lo. Quando a preparação visual dos dados é executada de forma agendada ou como um trabalho, pode sobrepor esse valor. Ver substituir os valores dos parâmetros em produção.

O painel lista os operadores que utilizam cada parâmetro. Selecione um nome de operador para o focar na tela.

Referenciar um parâmetro a partir de um operador

A forma como referencias um parâmetro depende de onde o utilizas:

  • Operador SQL: Utilize a sintaxe de marcadores de parâmetros nomeados, como :environment. Ver Usar marcadores de parâmetros nomeados.
  • Operador Python: Chame dbutils.widgets.get(), como dbutils.widgets.get("environment"). Consulte a ferramenta Widgets (dbutils.widgets).
  • Campos de configuração do operador suportados: Passe o rato sobre o campo no painel de configuração do operador e, em seguida, selecione o ícone de chavetas. (Use um parâmetro). Introduza uma expressão como :source_table, ou selecione um parâmetro existente. Campos suportados incluem:
    • Fonte: Tabela, caminho do ficheiro e formato do ficheiro.
    • Saída: Catálogo, Esquema, Tabela, Vista, Volume, Nome do Ficheiro e modo de escrita.
    • Limite: Limite.
    • Filtro: Expressões individuais de condições.
    • Preparar: Campos suportados nas ações individuais.
    • Combinar: Operação de conjunto, Estratégia de combinação, Unir por nome e Permitir colunas em falta.

Para definir um parâmetro enquanto configura um campo suportado, selecione Criar parâmetro no seletor de parâmetros. Configura o novo parâmetro no painel de Parâmetros e depois usa-o no campo.

Quando abre um operador SQL ou Python para edição, o Lakeflow Designer mostra um exemplo de como referenciar os parâmetros disponíveis acima do editor de código-fonte.

Combinar parâmetros com texto fixo

Numa expressão de parâmetro para um operador Fonte ou Saída, use :parameter_name para substituir um valor inteiro. Para combinar parâmetros com texto fixo, inclua o texto em aspas simples e use ||. Por exemplo, a seguinte expressão da Tabela de Origem constrói um nome de tabela totalmente qualificado:

:catalog || '.' || :schema || '.' || :table

Ativar ou desativar um operador com um parâmetro

Para controlar se um operador configurado executa:

  1. Abra o painel de configuração do operador e selecione o ícone de Engrenagem. (Definições do operador).
  2. Ao lado de Desativado, selecione o ícone de chavetas. (Use um parâmetro).
  3. Introduza uma expressão booleana, como :skip_operator.

A expressão desativa o operador quando é avaliada como True. Um operador desativado não produz linhas de saída.

Para controlar um grupo inteiro, abra Desativar grupo ou Ativar grupo na barra de ferramentas do grupo, depois selecione o ícone de chavetas. (Use um parâmetro) ao lado de Desativado. Introduza uma expressão booleana e feche o editor para a aplicar.

Para ativar ou desativar manualmente um operador, consulte Renomear, copiar, eliminar e desativar operadores.

Substituir valores dos parâmetros em produção

Em tempo de execução, uma preparação visual de dados lê os seus parâmetros da mesma forma, seja a correr de forma interativa ou como um trabalho, por isso o mesmo ficheiro funciona em todos os seus ambientes sem alterações. Forneça valores diferentes para cada ambiente da seguinte forma:

  • Quando agendas uma tarefa na interface: Sobrepõe os valores dos parâmetros para cada agendamento. Por exemplo, agendar a mesma preparação de dados visuais para correr todos os dias ao meio-dia com um environment parâmetro definido para test, e novamente às 14h com environment definido para production. Consulte Agendar como tarefa.
  • Ao implementar com um bundle: defina os valores dos parâmetros através do parameters do job e use bundle targets para fornecer valores diferentes por ambiente. Os destinos de desenvolvimento e de produção do bundle permitem-lhe implementar a mesma tarefa para ambientes separados com definições específicas de cada ambiente. Veja modos de implementação dos Pacotes de Automação Declarativa e configuração dos Pacotes de Automação Declarativa.

Recursos adicionais

  • Última atualização a