Operadores incorporados no Lakeflow Designer

O Lakeflow Designer inclui operadores incorporados para tarefas comuns de preparação e transformação de dados. Abra o menu do operador no painel lateral à esquerda para navegar pelos operadores por categoria, ou use Procurar um operador... no topo do painel. A pesquisa de operadores sugere operadores com base na sua intenção. Por exemplo, ao tipar average by month devolve o operador Aggregate . Para configurar um operador depois de o adicionar à tela, clique duas vezes nele, ou passe o rato sobre ele e clique (Editar operador), para abrir o painel de configuração.

Cada operador apresenta uma descrição gerada por IA do que faz. A descrição também funciona como um editor para o operador: editar a descrição reconfigura o operador para corresponder à sua descrição.

Para aprender a criar os seus próprios operadores definidos pelo utilizador, consulte Operadores definidos pelo utilizador no Lakeflow Designer.

Fonte e saída

Source

Importa dados para o Designer a partir de uma tabela Unity Catalog ou outra fonte suportada. Para selecionar uma fonte, procure uma tabela ou ficheiro por nome, ou navegue por catálogo e esquema. Também pode criar uma nova tabela a partir deste painel.

Depois de selecionares uma tabela, o painel mostra o nome da tabela, o proprietário e a última hora de atualização. Clique em Selecionar uma nova fonte de dados para alterar a fonte. Alterar a fonte invalida a cache de saída para todos os operadores a jusante.

Também pode usar uma vista métrica do Unity Catalog como fonte. Quando seleciona uma vista métrica, selecione as dimensões e medidas a incluir, e o Designer gera a consulta agregada para si.

Para a gama completa de opções de ingestão de dados, incluindo direcionar um volume ou pasta completo do Unity Catalog, veja Ingest data into Lakeflow Designer.

Introdução de dados

Cria uma tabela digitando valores num editor ao estilo folha de cálculo. Use este operador para adicionar pequenas quantidades de dados de referência, como valores de consulta ou dados de teste, sem criar uma tabela de origem separada.

Output

Exporta dados do Designer. O operador de Saída pode escrever resultados numa tabela do Catálogo Unity, publicá-los como uma vista materializada ou gravá-los num ficheiro num volume do Catálogo Unity. Selecione o destino com o tipo de Saída.

Para uma saída de Tabela ou Ficheiro , selecione como cada execução escreve no destino com o modo Write:

Clica em Executar para executar a preparação dos dados visuais e escrever os resultados. Para uma saída de tabela, se a tabela não existir, o operador cria-a. Execuções agendadas escrevem no destino usando o mesmo modo de escrita.

Função de IA

Executa uma operação de IA integrada nos seus dados. No painel de configuração, abra Selecionar uma função e selecionar uma das funções na tabela seguinte. Cada função expõe opções no painel para entradas (por exemplo, colunas, prompts, rótulos ou línguas) e saídas.

Para detalhes sobre cada função, veja Transformar dados não estruturados usando Funções de IA.

Transformations

Os seguintes operadores realizam transformações nos seus dados.

Aggregate

Resume as linhas agrupando dados e calculando valores agregados.

Combine

Funde dados de múltiplas tabelas com esquemas correspondentes numa única saída.

Unique

Remove linhas duplicadas dos dados de entrada. Por defeito, o operador desduplica em todas as colunas. Pode, em vez disso, escolher um subconjunto de colunas como chave e ordenar as linhas para controlar qual duplicado é mantido.

Filter

Divide as linhas consoante se cumprem uma ou mais condições, usando um construtor gráfico de condições.

O operador Filter tem duas saídas, por isso pode ramificar dados com base em satisfazer as condições:

Join

Liga duas tabelas numa chave combinando dois conjuntos de dados de entrada com base na correspondência dos valores das colunas.

Por defeito, o operador de junção tem três saídas, por isso pode ramificar um fluxo de trabalho com base nos resultados da junção:

Quando se seleciona um tipo específico de Join (full, inner, left ou right), o operador produz uma única saída unida em vez das três saídas divididas.

Limite

Restringe a contagem de linhas passando apenas até ao número máximo de linhas que especificas.

Pivot

Remodela os dados tabulares em duas direções. Usa os separadores no topo do painel de configuração para selecionar o modo.

Linhas → Colunas (pivot)

Transforma valores distintos numa coluna em novos cabeçalhos de colunas, preenchidos com valores agregados de outra coluna.

Colunas → Linhas (despivô)

Dobra uma ou mais colunas em linhas.

Incluir colunas

Para qualquer um dos modos, seleciona quais as colunas que ficam na saída juntamente com os valores pivotados ou não pivotados, e elimina as colunas que não precisas antes da transformação. O designer infere colunas fixas (agrupando) a partir das colunas que não atribuis a papéis de pivot, valor ou despivot.

Ordenar

Ordena linhas numa ou mais colunas.

SQL

Escreve código SQL personalizado para qualquer transformação não coberta pelos outros operadores.

Campo	Description
Editor de SQL	Escreve uma instrução SQL SELECT . Para referenciar a saída de um operador de entrada, use o nome desse operador como nome da tabela na sua consulta. Por exemplo: SELECT COUNT(*) FROM aggregate_2 WHERE 1 = 1 Clique no para abrir todo o painel de código SQL e ver como a sua declaração se encaixa no fluxo de trabalho completo.
Parameters	Para referenciar um parâmetro visual de preparação de dados, use a sintaxe de marcadores de parâmetros nomeados, como :environment. O designer mostra um exemplo acima do editor quando abres o operador para edição. Consulte Parâmetros.

Selecione

Seleciona, renomeia e reordena as colunas a partir dos dados de entrada.

Prepare

Limpa e deriva colunas encadeando uma ou mais ações sobre os dados de entrada. Clica + Adicionar ação e seleciona uma ação. Adiciona quantas ações precisares. Candidatam-se por ordem.

Para remover uma ação, passe o rato sobre a sua linha e clique .

Colunas personalizadas

A ação Fórmula abre o editor de expressões, onde pode criar uma nova coluna ou sobrescrever uma coluna existente usando código em linguagem natural ou SQL. O editor tem duas caixas de entrada e é bidirecional:

• Descrição: Escreve uma descrição em linguagem natural do que queres que a coluna faça. O designer usa o Genie para gerar a expressão de código correspondente abaixo.
• Expressão: Se preferir escrever ou editar código diretamente, clique no botão de editar expressão. Editar a expressão gera automaticamente uma descrição em linguagem natural.

No editor de expressões, escreva @ para abrir um menu com as colunas de entrada do operador e as funções SQL integradas. Escreva depois @ para filtrar a lista, depois selecione uma entrada para a inserir: uma coluna insere o seu nome, e uma função insere a sua chamada com o cursor colocado entre parênteses. O mesmo @ menu está disponível nos editores de expressões de outros operadores, como condições personalizadas de Filter e Join.

Python

Executa Python personalizado (PySpark) nos dados de entrada.

Um padrão mínimo é usar a primeira entrada quando presente, ou um DataFrame vazio caso contrário:

# inputs["data"] is a list of input DataFrames

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

A partir daí, pode encadear operações DataFrame (por exemplo, select, filter, withColumn, ou joins) antes result da atribuição terminar, ou substituir result por um novo DataFrame construído a partir de inputs["data"].

Durante uma pré-visualização, a saída do operador flui para o painel de saída à medida que é produzida, incluindo tudo o que utiliza display() e o texto que imprime, para que possa ver os resultados antes do fim da execução.

Modo de pré-visualização em Python

À medida que constróis uma preparação visual de dados, o Designer pré-visualiza continuamente a saída de cada operador numa amostra dos teus dados. Estas pré-visualizações executam o teu código Python da mesma forma que uma execução completa. Isso é um problema quando o teu código tem efeitos secundários, como ligar a uma API externa, enviar uma notificação ou escrever para um sistema fora do Unity Catalog. Normalmente não queres que esses efeitos secundários apareçam em todas as pré-visualizações.

Para deixar o seu código distinguir os dois, leia config["is_preview"], um Designer booleano define para si:

• True Durante uma corrida de pré-visualização, por isso podes saltar efeitos secundários.
• False durante uma execução completa, como quando clicas em Executar ou numa execução agendada.

Por exemplo, efeitos secundários de guarda para que só funcionem fora das pré-visualizações:

result = inputs["data"][0] if inputs["data"] else spark.createDataFrame([], "col: string")

# Side effects run only on a full run or scheduled job, not during previews.
if not config["is_preview"]:
    write_results_to_external_system(result)

Organização

Note

Adiciona uma nota na tela para que possas documentar o fluxo de trabalho em si: o seu propósito, pressupostos, ressalvas ou contexto de transferência para quem abrir a preparação de dados visuais mais tarde.

Group

Agrupa visualmente os operadores na tela sem alterar a forma como os dados fluem entre eles, o que é útil quando uma preparação visual de dados cresce ou se quer refletir etapas lógicas.

Visualization

Cria uma visualização a partir dos dados de entrada e renderiza-os diretamente na tela. Ligue um operador de visualização a qualquer operador que produza dados tabulares para graficar os resultados sem sair do Designer.

Para configurar a visualização, abra o operador e selecione um tipo de Visualização , depois mapeie as suas colunas para o gráfico.

Recursos adicionais

• Crie uma preparação visual de dados no Lakeflow Designer
• Ingestão de dados no Lakeflow Designer