Usar parâmetros no Lakeflow Designer

Os parâmetros no Lakeflow Designer são valores nomeados definidos para a preparação de dados visuais como um todo. Você pode referenciar parâmetros em código de operadores SQL e Python, em campos de configuração de operadores suportados e em expressões que habilitam ou desativam operadores. Parâmetros permitem que você execute a mesma preparação visual de dados em diferentes ambientes, por exemplo, um catálogo de testes durante o desenvolvimento e um catálogo de produção em produção.

Requirements

  • Para criar parâmetros ou alterar as vinculações de campo, você precisa ter permissão para editar o prep de dados visual.
  • Para parametrizar um grupo, você precisa ter permissão para
    • editar a preparação visual dos dados
    • Executar prévias

Defina parâmetros

Para gerenciar parâmetros, selecione Parâmetros no painel esquerdo. Cada parâmetro tem um valor definido quando você o define. Quando a preparação visual de dados roda em um cronograma ou como um job, você pode sobrescrever esse valor. Veja substituir valores de parâmetros em produção.

O painel lista os operadores que usam cada parâmetro. Selecione o nome de um operador para focalizá-lo na tela.

Referenciar um parâmetro a partir de um operador

Como você referencia um parâmetro depende de onde você o usa:

  • Operador SQL: Use a sintaxe de marcadores de parâmetros nomeados, como :environment. Consulte Usar marcadores de parâmetro nomeados.
  • Operador Python: Chame dbutils.widgets.get(), como dbutils.widgets.get("environment"). Consulte a ferramenta Widgets (dbutils.widgets).
  • Campos de configuração de operador suportados: Passe o mouse sobre o campo no painel de configuração do operador, depois selecione o ícone de parênteses enrolados. (Use um parâmetro). Insira uma expressão como :source_table, ou selecione um parâmetro existente. Campos suportados incluem:
    • Fonte: Tabela, caminho de arquivo e formato de arquivo.
    • Saída: Catálogo, Esquema, Tabela, Visualização, Volume, Nome do Arquivo e modo Escrita.
    • Limite: Limite.
    • Filtro: Expressões individuais de condições.
    • Prepare: Campos suportados dentro das ações individuais.
    • Combinar: Definir a operação, Estratégia de mesclagem, unir pelo nome e permitir colunas faltantes.

Para definir um parâmetro enquanto configura um campo suportado, selecione Criar parâmetro no seletor de parâmetros. Configure o novo parâmetro no painel de Parâmetros e depois use-o no campo.

Quando você abre um operador SQL ou Python para edição, o Lakeflow Designer mostra um exemplo de como referenciar os parâmetros disponíveis acima do editor de origem.

Combinar parâmetros com texto fixo

Em uma expressão de parâmetro para um operador Source ou Output, use :parameter_name para substituir um valor inteiro. Para combinar parâmetros com texto fixo, inclua o texto entre aspas e use ||. Por exemplo, a seguinte expressão da Tabela de Origem constrói um nome de tabela totalmente qualificado:

:catalog || '.' || :schema || '.' || :table

Habilitar ou desativar um operador com um parâmetro

Para controlar se um operador configurado executa:

  1. Abra o painel de configuração do operador e selecione o ícone de Engrenagem. (Configurações do operador).
  2. Ao lado de Desativado, selecione o ícone de chaves. (Use um parâmetro).
  3. Insira uma expressão booleana, como :skip_operator.

A expressão desativa o operador quando for avaliada como True. Um operador desativado não produz linhas de saída.

Para controlar um grupo inteiro, abra Desativar grupo ou Habilitar grupo na barra de ferramentas do grupo, depois selecione o ícone Brackets enrolado. (Use um parâmetro) ao lado de Desabilitado. Insira uma expressão booleana e feche o editor para aplicá-la.

Para ativar ou desativar manualmente um operador, veja Renomear, copiar, excluir e desativar operadores.

Substituir valores de parâmetros em produção

Em tempo de execução, uma preparação visual de dados lê seus parâmetros da mesma forma, seja rodando interativamente ou como um trabalho, então o mesmo arquivo funciona em todos os seus ambientes sem alterações. Forneça valores diferentes para cada ambiente da seguinte forma:

  • Quando você agenda um trabalho na interface: Substitua os valores dos parâmetros para cada agendamento. Por exemplo, agende a mesma preparação de dados visuais para rodar todos os dias ao meio-dia com um environment parâmetro definido para test, e novamente às 14h com environment definido para production. Consulte Agendar como uma tarefa.
  • Quando você implanta com um bundle: defina os valores dos parâmetros por meio de parameters do job e use bundle targets para fornecer valores diferentes por ambiente. Os alvos de desenvolvimento e produção do bundle permitem implantar a mesma tarefa em ambientes separados com configurações específicas de cada ambiente. Consulte os modos de implantação de Pacotes de Automação Declarativa e a configuração de Pacotes de Automação Declarativa.

Recursos adicionais

  • Última atualização em