Operadores incorporados no Lakeflow Designer

O Lakeflow Designer inclui operadores incorporados para tarefas comuns de preparação e transformação de dados. Abra o painel de Operadores à esquerda para navegar pelos operadores por categoria, ou use Procurar um operador... no topo do painel. A pesquisa de operadores sugere operadores com base na sua intenção. Por exemplo, ao tipar average by month devolve o operador Aggregate . Veja Encontrar operadores com pesquisa por IA. Para configurar um operador depois de o adicionar à tela, clique duas vezes nele, ou passe o rato sobre ele e clique (Editar operador), para abrir o painel de configuração.

Cada operador apresenta uma descrição gerada por IA do que faz. A descrição também funciona como um editor para o operador: editar a descrição reconfigura o operador para corresponder à sua descrição.

Quando nenhum operador incorporado se adequa à sua tarefa, pode criar o seu próprio operador.

Entrada e saída

Source

Importa dados para o Designer a partir de uma tabela Unity Catalog ou outra fonte suportada. Para selecionar uma fonte, procure uma tabela ou ficheiro por nome, ou navegue por catálogo e esquema. Também pode criar uma nova tabela a partir deste painel.

Depois de selecionares uma tabela, o painel mostra o nome da tabela, o proprietário e a última hora de atualização. Clique em Selecionar uma nova fonte de dados para alterar a fonte. Alterar a fonte invalida a cache de saída para todos os operadores a jusante.

Também pode usar uma vista métrica do Unity Catalog como fonte. Quando seleciona uma vista métrica, selecione as dimensões e medidas a incluir, e o Designer gera a consulta agregada para si.

Para a gama completa de opções de ingestão de dados, incluindo direcionar um volume ou pasta completo do Unity Catalog, veja Ingest data into Lakeflow Designer.

Introdução de dados

Cria uma tabela digitando valores num editor ao estilo folha de cálculo. Use este operador para adicionar pequenas quantidades de dados de referência, como valores de consulta ou dados de teste, sem criar uma tabela de origem separada.

Output

Exporta dados do Designer. O operador Output pode escrever resultados numa tabela do Unity Catalog, publicá-los como uma vista materializada ou gravá-los num ficheiro num volume do Unity Catalog, Google Drive ou SharePoint. Em Tipo de Saída, selecione Tabela, Vista Materializada ou Ficheiro. Para a saída de um ficheiro, selecione onde escrevê-lo no Destino.

Para saídas de tabela ou ficheiros num volume do Unity Catalog, selecione um modo de escrita:

Clica em Executar para executar a preparação dos dados visuais e escrever os resultados. Para uma saída de tabela, se a tabela não existir, o operador cria-a. Execuções agendadas escrevem no destino usando o mesmo modo de escrita.

Depois de um operador de Saída escrever uma tabela do Catálogo Unity, uma vista materializada ou um ficheiro de volume, ligue a sua porta de saída para continuar o fluxo de trabalho. Para tabelas, vistas materializadas e saídas simples de ficheiro único, a porta de saída lê diretamente do ativo persistente que o operador de saída acabou de escrever. Para saídas divididas, escritas em intervalo Excel e ficheiros sem cabeçalhos, a porta de saída passa pelas linhas de entrada.

Para saídas de ficheiros num volume do Catálogo Unity, expanda Avançado para configurar as seguintes opções:

• Dividir por valores distintos: Selecione uma coluna para escrever um ficheiro para cada valor distinto. Para a saída do Excel, podes escrever cada valor numa folha de trabalho separada num único caderno. Uma execução pode criar até 50 ficheiros ou folhas de trabalho.
• Nome da folha: Para a saída do Excel, defina a folha de trabalho alvo.
• Incluir linha de cabeçalho: Incluir nomes de colunas na saída CSV ou Excel.
• Gama de células: Para saída Excel em modo de Sobrescrever, defina a célula inicial e uma célula final opcional. O designer preserva a formatação fora do intervalo e falha a execução se os dados não se ajustarem a um intervalo fixo. Não se pode combinar um intervalo de células com Dividir por valores distintos.

Para escrever um ficheiro no Google Drive ou SharePoint:

1. Defina o tipo de saída para ficheiro e destino para o Google Drive ou Microsoft 365 para SharePoint.
2. Ative o conector correspondente do Código Genie e selecione Conectar , se solicitado. Inicia sessão com uma conta que tenha acesso de escrita à pasta de destino.
3. No URL da pasta, cole o link na pasta do Google Drive ou SharePoint. No SharePoint, obtenha o link com Copiar o link.
4. Introduza um nome de ficheiro, escolha um tipo de ficheiro e clique em Executar.

Cada execução cria o ficheiro ou substitui o conteúdo completo do ficheiro existente pelo mesmo nome, incluindo todas as folhas de trabalho Excel. A exportação deve caber num ficheiro de até 2,75 MiB. As pré-visualizações mostram os dados de entrada sem escrever o ficheiro. As execuções agendadas utilizam as credenciais da conta e do conector do utilizador do run-as.

Limpeza

Filter

Divide as linhas consoante se cumprem uma ou mais condições, usando um construtor gráfico de condições.

Para combinar condições e organizar filtros complexos:

1. Clique em Adicionar condição e configure a coluna, o operador e o valor.
2. Selecionar Todos para exigir que todas as condições coincidam, ou Qualquer para exigir pelo menos uma correspondência.
3. Para criar condições, abra o (Opções de condição) e selecione Converter para grupo. Adicione condições dentro do grupo e escolha Tudo ou Qualquer para esse grupo. Por exemplo, exigir que uma linha corresponda a uma condição de região e a qualquer uma de várias condições de estado.
4. Clica em Aplicar para aplicar o filtro.

Para reverter uma condição, abra o (Opções de condição) e selecione Inverter condição. Para remover o aninhamento de um grupo, abra o menu do grupo e selecione Desagrupar.

Para reorganizar as condições, clique (Reordenar condições), arraste as condições para a posição e clica em Fazer Encomenda.

O operador Filter tem duas saídas, por isso pode ramificar dados com base em satisfazer as condições:

Barreiras de segurança

Valida os dados recebidos contra uma lista ordenada de verificações e separa as linhas que passam das que falham.

• Avise e continue com as filas passadas:
  • A execução a jusante continua.
  • As linhas que passam em cada verificação ativada são enviadas para Passed.
  • As linhas que falham pelo menos um teste ativado são enviadas para Falhado.
  • Erros contém uma linha para cada verificação falhada, incluindo o seu tipo, gravidade e mensagem.
• Avisar e bloquear a saída passada:
  • Se uma verificação falhar, a execução a jusante continua, mas o Passed não contém linhas.
  • Falhou ainda contém as linhas falhadas, e Erros ainda contém os detalhes de falha.
  • Use esta opção para evitar o processamento a jusante das linhas que passam, permitindo ao mesmo tempo o tratamento posterior de Falhas e Erros.
• Falhe o fluxo de trabalho:
  • Se uma verificação falhar, a execução para antes de os operadores a jusante executarem.
  • Não recebem os resultados de Passado, Falhado ou Erros .
  • Num trabalho agendado, a execução é marcada como falhada, o que pode desencadear o tratamento de falhas configurado, como notificações de trabalho.

Quando visualizas o próprio operador Guardrails, ainda podes inspecionar as três saídas no modo Fail the workflow .

Para persistir linhas de uma saída em qualquer um dos modos de aviso, ligue-a a um operador de saída.

Limite

Restringe a contagem de linhas passando apenas até ao número máximo de linhas que especificas.

Prepare

Limpa e deriva colunas encadeando uma ou mais ações sobre os dados de entrada. Clica + Adicionar ação e seleciona uma ação. Adiciona quantas ações precisares. Candidatam-se por ordem.

Todas as ações, exceto Formula e Parse JSON , suportam múltiplas colunas.

Para remover uma ação, passe o rato sobre a sua linha e clique .

Colunas personalizadas

A ação Fórmula abre o editor de expressões, onde pode criar uma nova coluna ou sobrescrever uma coluna existente usando código em linguagem natural ou SQL. O editor tem duas caixas de entrada e é bidirecional:

• Descrição: Escreve uma descrição em linguagem natural do que queres que a coluna faça. O Designer usa o Código Génio para gerar a expressão de código correspondente abaixo.
• Expressão: Se preferir escrever ou editar código diretamente, clique no botão de editar expressão. Editar a expressão gera automaticamente uma descrição em linguagem natural.

No editor de expressões, escreva @ para abrir um menu com as colunas de entrada do operador e as funções SQL integradas. Escreva depois @ para filtrar a lista, depois selecione uma entrada para a inserir: uma coluna insere o seu nome, e uma função insere a sua chamada com o cursor colocado entre parênteses. O mesmo @ menu está disponível nos editores de expressões de outros operadores, como condições personalizadas de Filter e Join.

Prepara as ações, trabalha numa carreira de cada vez. Para calcular uma coluna a partir dos valores de outras linhas, como um total acumulado ou o valor da linha anterior, use a Fórmula Multi-Linha.

Selecione

Seleciona, renomeia e reordena as colunas a partir dos dados de entrada.

Ordenar

Ordena linhas numa ou mais colunas.

Unique

Remove linhas duplicadas dos dados de entrada. Por defeito, o operador desduplica em todas as colunas. Pode, em vez disso, escolher um subconjunto de colunas como chave e ordenar as linhas para controlar qual duplicado é mantido.

Combine

Combine

Combina dados de várias tabelas numa única saída usando uma operação conjunta.

Join

Tabelas de links combinando conjuntos de dados de entrada com base nos valores das colunas correspondentes.

Com duas entradas, o operador de junção tem três saídas por defeito, para que possa ramificar um fluxo de trabalho com base nos resultados da junção:

Com duas entradas, ao selecionar um tipo específico de junção (full, inner, left ou right) produz uma única saída unida em vez das três saídas divididas.

Transforme

Função de IA

Executa uma operação de IA integrada nos seus dados. No painel de configuração, abra Selecionar uma função e selecionar uma das funções na tabela seguinte. Cada função expõe opções no painel para entradas (por exemplo, colunas, prompts, rótulos ou línguas) e saídas.

Selecione Saídas Limpas para usar os valores de resposta de ai_classify, ai_extract, ai_decide, ou ai_query em operadores a jusante. Para ai_query, a limpeza aplica-se quando a função usa failOnError => false. A opção não está disponível para funções de tabela como ai_forecast. Outras saídas funcionais mantêm-se inalteradas.

Para cada saída limpa nomeada answer, o operador retorna:

• answer: A resposta limpa. Para ai_extract com um campo ou ai_decide com uma pergunta, este é o valor tipado. Múltiplos campos ou perguntas produzem uma estrutura.
• answer_ai_error: A mensagem de erro quando a função falha, ou nula quando tem sucesso. Uma linha falhada tem uma resposta nula.
• answer_raw: A resposta completa, incluindo metadados, para inspeção ou resolução de problemas.

Para detalhes sobre cada função, veja Transformar dados não estruturados usando Funções de IA.

Aggregate

Resume as linhas agrupando dados e calculando valores agregados.

Fórmula de Múltiplas Linhas

Calcula novas colunas a partir dos valores das outras linhas, como totais acumulados, números de linha e IDs de registo, classificações, valores anteriores e próximos, diferenças entre linhas e médias móveis. Use a Fórmula Multi-Linha quando um cálculo depende das linhas vizinhas. Para cálculos que utilizam apenas os valores na linha atual, use Preparar. Também pode encontrar o operador pesquisando no menu do operador por Record ID.

O operador mantém uma lista ordenada de fórmulas. As fórmulas correm de cima para baixo, e cada fórmula adiciona uma coluna à saída. Se o nome da coluna de uma fórmula corresponder a uma coluna existente, a fórmula sobrescreve essa coluna. Se a lista estiver vazia, ou se todas as fórmulas estiverem desligadas, o operador passa a sua entrada sem alterações.

Cada tipo de fórmula tem um campo de nome de nova coluna . Todos os tipos, exceto expressões personalizadas , também têm Order by e Group by, que definem a janela de linhas que a fórmula observa:

Tipos de fórmulas

A tabela seguinte descreve cada tipo de fórmula e os seus campos, além dos campos partilhados:

Para Diferença em relação à linha anterior, Média móvel e suavização exponencial, a coluna Of lista apenas colunas numéricas. Filas de distância, Filas de volta e Janela (linhas) aceitam números inteiros de 1 ou mais. Uma fração é arredondada para baixo, e um número menor que 1, um campo vazio ou um valor que não é número usa 1. Um fator de suavização (α) fora do intervalo permitido usa 0,3. Começar em aceita qualquer número inteiro, e um campo vazio usa 1. Se introduzires uma fração em Começar em, o campo mostra que Valor está fora do intervalo e que Aplicar não está disponível.

As seguintes condições fazem com que o operador devolva um erro quando é executado:

• Uma coluna Of que não está nos dados de entrada, por exemplo, depois de um operador a montante a renomear ou removê-la.
• Suavização exponencial numa coluna decimal. Para suavizar valores decimais, primeiro converta a coluna para um duplo, por exemplo, com a ação do tipo Preparar Alteração .
• Suavização exponencial com um fator de suavização muito pequeno, abaixo de cerca de 0,002. Use um valor maior.
• Numeração de número de linha/posto que passa por 2.147.483.647, o valor máximo que uma coluna inteira detém, quando Começar em é 2.147.483.647 ou menos. Use um Início mais pequeno ao valor.

Configurar fórmulas

Para configurar a lista de fórmulas no painel de configuração, use os seguintes controlos:

• Adicionar uma fórmula: Clique em Adicionar fórmula e selecione um tipo de fórmula. A nova fórmula aparece no final da lista com um nome de coluna predefinido, como running_total, e o seu editor abre-se.
• Editar uma fórmula: Clique numa fórmula na lista para abrir o seu editor. Cada fórmula mostra o seu tipo e um resumo de uma linha, como customer_running_total = sum(amount) (by customer_id; ordered by order_date). Para número de linha / posição, o resumo também mostra um Início em outro que não 1 e um tipo de saída de Texto , como record_id = row_number() from 1001 as text (ordered by order_id). O editor mantém-se aberto enquanto trabalhas na tela. Para fechar, clique no O ícone de Fechar.
• Reordenar fórmulas: Arraste uma fórmula para cima ou para baixo. Como as fórmulas correm por ordem, move uma fórmula abaixo de qualquer fórmula cuja coluna utilize.
• Desligue ou ligue uma fórmula: Passe o rato sobre uma fórmula e clique no seu interruptor. Uma fórmula desligada mantém-se na lista mas não corre.
• Duplicar ou eliminar uma fórmula: Passe o rato sobre uma fórmula, clique no no menu Kebab, e selecione Duplicar ou Eliminar.

Para guardar as tuas alterações, clica em Aplicar. Se uma fórmula ativada não tiver um campo obrigatório, Aplicar não está disponível, e uma mensagem ao lado identifica os campos ou fórmulas a completar.

Se não tiver permissão para editar a preparação dos dados visuais, pode ver a lista de fórmulas e os seus resumos, mas não pode abri-las, adicioná-las, reordená-las ou alterá-las.

Exemplo: totais e alterações acumuladas para cada cliente

Este exemplo utiliza uma orders tabela com uma linha para cada ordem:

Para calcular o total recorrente de cada cliente, o montante da encomenda anterior e a alteração em relação à encomenda anterior, adicione um operador Multi-Row Formula após a orders origem e configure as seguintes fórmulas. Cada fórmula usa Ordem pororder_date (Ascendente) e Agrupar porcustomer_id:

1. Adicione uma fórmula de agregado em corrida . Defina o nome da nova coluna para customer_running_total, Agrega para a soma e a coluna Of para amount.
2. Adicione um Valor a partir de outra fórmula de linha . Defina o nome da nova coluna para previous_amount, Direção para Lag (linha anterior),Da coluna para amount, e Linhas afastadas para 1. Sair Se não houver tal linha definido para Nulo.
3. Adicione uma Diferença em relação à fórmula da linha anterior . Defina o nome da nova coluna para amount_change, Da coluna para amount, e Linhas de volta para 1.
4. Clique em Aplicar.

A tabela seguinte mostra a saída com as três novas colunas, ordenadas por cliente e data, omitidas order_date :

A primeira encomenda de cada cliente não tem encomenda anterior, por isso previous_amount e amount_change são nulos. Para preencher previous_amount com 0 em vez disso, defina Se não existir tal linha a zero.

Pivot

Remodela os dados tabulares em duas direções. Usa os separadores no topo do painel de configuração para selecionar o modo.

Linhas → Colunas (pivot)

Transforma valores distintos numa coluna em novos cabeçalhos de colunas, preenchidos com valores agregados de outra coluna.

Colunas → Linhas (despivô)

Dobra uma ou mais colunas em linhas.

Incluir colunas

Para qualquer um dos modos, seleciona quais as colunas que ficam na saída juntamente com os valores pivotados ou não pivotados, e elimina as colunas que não precisas antes da transformação. O designer infere colunas fixas (agrupando) a partir das colunas que não atribuis a papéis de pivot, valor ou despivot.

Code

Python

Executa Python personalizado (PySpark) nos dados de entrada.

Um padrão mínimo é usar a primeira entrada quando presente, ou um DataFrame vazio caso contrário:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

A partir daí, pode encadear operações DataFrame (por exemplo, select, filter, withColumn, ou joins) antes result da atribuição terminar, ou substituir result por um novo DataFrame construído a partir de inputs["data"].

Durante uma pré-visualização, a saída do operador flui para o painel de saída à medida que é produzida, incluindo tudo o que utiliza display() e o texto que imprime, para que possa ver os resultados antes do fim da execução.

Modo de pré-visualização em Python

À medida que constróis uma preparação visual de dados, o Designer pré-visualiza continuamente a saída de cada operador numa amostra dos teus dados. Estas pré-visualizações executam o teu código Python da mesma forma que uma execução completa. Isso é um problema quando o teu código tem efeitos secundários, como ligar a uma API externa, enviar uma notificação ou escrever para um sistema fora do Unity Catalog. Normalmente não queres que esses efeitos secundários apareçam em todas as pré-visualizações.

Para deixar o seu código distinguir os dois, leia config["is_preview"], um valor booleano que o Designer define para si:

• True Durante uma corrida de pré-visualização, por isso podes saltar efeitos secundários.
• False durante uma execução completa, como quando clicas em Executar ou numa execução agendada.

Por exemplo, efeitos secundários de guarda para que só funcionem fora das pré-visualizações:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Um operador personalizado deve declarar uma is_preview propriedade config para receber esse valor. Veja Saltar efeitos secundários durante as pré-visualizações.

SQL

Escreve código SQL personalizado para qualquer transformação não coberta pelos outros operadores.

Campo	Description
Editor de SQL	Escreve uma instrução SQL SELECT . Para referenciar a saída de um operador de entrada, use o nome desse operador como nome da tabela na sua consulta. Por exemplo: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Clique no para abrir todo o painel de código SQL e ver como a sua declaração se encaixa no fluxo de trabalho completo.
Parameters	Para referenciar um parâmetro visual de preparação de dados, use a sintaxe de marcadores de parâmetros nomeados, como :environment. O designer mostra um exemplo acima do editor quando abres o operador para edição. Veja Usar parâmetros no Lakeflow Designer.

Relatório

HTML

Renderiza uma página HTML personalizada, incluindo CSS incorporado e JavaScript, no painel de saída. Ligue um ou mais operadores ao operador HTML para exibir os seus dados como gráficos, tabelas ou outras vistas. O operador HTML não tem porta de saída, por isso não podes ligar outros operadores depois dele.

Por exemplo, a página seguinte mostra quantas linhas o primeiro operador ligado passa à página:

<h2>Summary</h2>
<p id="summary">Connect an operator to bind data.</p>
<script>
  const input = window.inputs[0];
  if (input) {
    document.getElementById('summary').textContent = input.rows.length + ' rows available.';
  }
</script>

Durante uma pré-visualização, cada entrada é limitada pela configuração de Linhas varridas do operador. A página recebe no máximo 10.000 linhas no total, divididas igualmente entre as entradas ligadas. Veja Controlar quanto processamento de pré-visualizações de dados.

Visualization

Cria uma visualização a partir dos dados de entrada e renderiza-os diretamente na tela. Ligue um operador de visualização a qualquer operador que produza dados tabulares para graficar os resultados sem sair do Designer.

Para configurar a visualização, abra o operador e selecione um tipo de Visualização , depois mapeie as suas colunas para o gráfico.

Ferramentas de tela

Group

Agrupa visualmente os operadores na tela sem alterar a forma como os dados fluem entre eles, o que é útil quando uma preparação visual de dados cresce ou se quer refletir etapas lógicas.

Note

Adiciona uma nota na tela para que possas documentar o fluxo de trabalho em si: o seu propósito, pressupostos, ressalvas ou contexto de transferência para quem abrir a preparação de dados visuais mais tarde.

Crie o seu próprio operador

Quando nenhum operador incorporado cobre a sua lógica, crie um operador personalizado. Um operador personalizado é local ou partilhado:

• Local: O operador pertence à preparação atual de dados visuais. Descreva a transformação, e o Código Génio gera o operador. Tu não escreves código. Veja Criar um operador local personalizado com o Código Genie.
• Partilhado: O operador está registado para que outros utilizadores e preparadores de dados visuais possam usá-lo. A sua lógica é Python ou uma função do Unity Catalog, descrita no YAML. Veja Construir um operador partilhado.

Recursos adicionais

• Tutorial: Constrói uma preparação visual de dados
• Ingestão de dados no Lakeflow Designer
• Operadores personalizados no Lakeflow Designer