Visualize e refine os resultados no Lakeflow Designer

Enquanto você constrói uma preparação visual de dados, o Lakeflow Designer mostra uma prévia dos resultados de cada operador para que você possa verificar seu trabalho sem precisar executar todo o fluxo de trabalho. Esta página descreve como ler e controlar pré-visualizações, executar parte ou toda a preparação visual dos dados, salvar os resultados dos operadores com checkpoints e refinar os dados diretamente na tabela de resultados.

Use o painel de saída

Selecione qualquer operador para ver seus resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operadores, os dados de entrada estão à esquerda e os dados de saída à direita. Operadores que produzem resultados que não são de tabela, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.

Para uma visualização ou saída HTML, clique no ícone de tela cheia no cabeçalho do painel para expandir a saída e preencher a janela do navegador. Em tela cheia, o Designer esconde controles de autoria, como Linhas verificadas, e mantém o prompt do Código Genie disponível para que você possa pedir alterações sem sair dessa visualização. A URL da página registra a visualização em tela cheia, então um link compartilhado reabre a mesma saída em tela cheia. Aperte Escape para sair.

Use o controle de exibição no painel de saída para alternar entre entrada e saída (o padrão), somente entrada ou saída. No modo de exibição combinado, arraste o divisor para redimensionar os painéis de entrada e saída.

Se a execução do operador selecionado tiver dados de desempenho, clique em Performance no painel de saída para abrir o perfil completo da consulta.

Painel de saída do LFD com prévias de entrada e saída e o menu Linhas escaneadas aberto.

Controle a quantidade de dados que as pré-visualizações processam

O Designer visualiza previamente os operadores automaticamente. Por padrão, os operadores processam as primeiras 1.000 linhas de entrada para prévias. Para alterar o padrão, use o menu Visualizar na barra de ferramentas do canvas e selecione Primeiras N linhas para inserir um novo limite, ou selecione Todas as linhas. Selecione Aplicar a todos os operadores para limpar a substituição de Linhas verificadas de cada operador; assim, ele usará o padrão atual.

Use o menu Linhas verificadas no painel de saída para substituir o padrão de um operador individual:

  • Linhas escaneadas: Herdar: Usa o padrão do menu Prévia .
  • Linhas examinadas: Limite: processa as primeiras N linhas de entrada. Digite o limite de linhas no campo ao lado do menu.
  • Linhas escaneadas: Todas as linhas: Processa todas as linhas de entrada.

Quando uma pré-visualização processa todas as linhas, a tela mostra a contagem exata de linhas de saída do operador. Para operadores com múltiplas saídas, passe o mouse sobre o selo de contagem de linhas para ver as contagens por saída.

Aviso

Gerar uma prévia com linhas escaneadas: Todas as linhas reexecuta o operador e seus operadores a montante no conjunto de dados completo e pode levar bastante tempo.

Limites de pré-visualização não se aplicam a tarefas agendadas nem ao Executar tudo.

Execute a preparação completa dos dados visuais

Clique em Executar tudo para executar cada operador na tela contra o conjunto de dados completo em uma única ação, sem pré-visualizar cada operador individualmente. O designer executa todo o arquivo de preparação de dados visuais e atualiza os resultados para cada operador, depois mostra a contagem exata de linhas de saída de cada operador abaixo dele na tela.

O menu Executar contém mais ações para executar toda a preparação visual de dados:

  1. Clique no ícone do menu Kebab. no cabeçalho do arquivo e selecione Executar.
  2. Escolha uma ação:
    • Execute tudo: Execute toda a preparação dos dados visuais.
    • Interromper execução: Parar uma preparação visual de dados em execução.
    • Vá para o último operador executado: Coloca o foco no operador executado mais recentemente.
    • Limpar>Limpar todas as saídas do operador: Remover os resultados exibidos.
    • Limpar>Limpar estado e executar tudo: Limpar o estado de computação e reexecutar a preparação visual dos dados.

A limpeza exige permissão para editar o arquivo de preparação visual de dados.

Execute até um operador

Clique com o botão direito em um operador e selecione Executar até esse operador para executá-lo e seus operadores upstream contra o conjunto de dados completo, sem limites de linhas de visualização. Operadores downstream e ramificações desconectadas não são executados.

Configurar checkpoints de operador

Os checkpoints salvam os resultados do operador para que as prévias possam reutilizá-los sem precisar reexecutar os operadores anteriores. No painel de configuração do operador, abra as configurações do Operador e selecione Checkpoint:

  • Auto: O designer escolhe quais resultados salvar. Esse é o padrão para operadores novos.
  • Ativado: Salve os resultados deste operador.
  • Desligado: Não salve os resultados deste operador.

Para alterar as configurações de checkpoint em todo o arquivo, pare qualquer fluxo de trabalho em execução, então:

  1. Clique no ícone do menu Kebab. no cabeçalho do arquivo e selecione Executar>Checkpointing.
  2. Escolha Definir tudo para Automático ou Definir tudo para Ligado.

A configuração se aplica a operadores editáveis com saídas. Operadores modificados externamente mantêm suas configurações.

Alterar as configurações do checkpoint exige permissão para editar o arquivo de preparação de dados visuais, executá-lo e gerar pré-visualizações. Pré-visualizações podem reutilizar resultados salvos dentro da mesma sessão de computação. Executar tudo, execute até esse operador, e os trabalhos agendados recalculam os resultados.

Se o checkpoint não estiver disponível ou falhar, Auto continua sem ele. Com Ativado, a versão preliminar ou execução falha.

Transforme os dados diretamente na tabela de resultados

Além de adicionar operadores para transformar seus dados, você pode prepará-los atuando diretamente sobre eles na tabela de resultados. Edições em pré-visualização mudam apenas a amostra de pré-visualização e são coletadas como alterações pendentes. Eles não alteram seus dados ou seu fluxo de trabalho até que você os aplique.

Editando dados diretamente na tabela de resultados do LFD: atuar em uma coluna prepara uma alteração pendente que Aplicar a tela transforma em um operador.

As seguintes ações são suportadas na prévia de dados:

  • Insira uma coluna: Selecione Inserir coluna, então insira um nome e uma expressão.
  • Altere o tipo de uma coluna: Selecione Alterar tipo e escolha o tipo alvo.
  • Remover linhas nulas: Selecione Remover linhas nulas para eliminar linhas onde a coluna é nula.
  • Linhas de filtro: Adicione uma ou mais condições de filtro na coluna.
  • Renomeie uma coluna: Clique duas vezes no cabeçalho da coluna e insira um novo nome.
  • Ocultar, reordenar ou remover colunas: Ocultar ou remover uma coluna, ou arrastar cabeçalhos de coluna para reordená-las.
  • Ordenar linhas: Adicione uma direção de ordenação na coluna. Ordenar em mais colunas adiciona à ordem de ordenação.
  • Remover linhas duplicadas: Selecione Remover duplicatas, depois escolha as colunas para comparar.

Revise e solicite as alterações pendentes

As alterações preparadas são reunidas no painel Alterações pendentes. Abra para revisar ou remover uma edição antes de aplicá-la. Para alterar uma nova coluna em etapas, clique duas vezes nela na pré-visualização e atualize seu nome ou expressão.

Para adicionar as edições em etapas ao seu fluxo de trabalho, selecione Aplicar ao canvas. O Lakeflow Designer adiciona operadores para as edições em etapas, na ordem em que você as preparou. Cada tipo de edição mapeia para o seguinte tipo de operador:

Edição de prévia Operador adicionado à tela
Insira uma coluna Preparar
Altere o tipo de uma coluna Preparar
Remover linhas nulas Filter
Filtrar linhas Filter
Remover, renomear, reordenar ou ocultar colunas Selecionar
Classificar linhas Sort
Remover linhas duplicadas Único

Observação

Se você mudar a prévia para processar o conjunto de dados completo enquanto tem alterações pendentes, o Lakeflow Designer pede que você as aplique primeiro para que suas edições em etapas não sejam perdidas.

Inspecionar o perfil de dados

Para ver detalhes sobre parte da sua saída, selecione os dados que deseja inspecionar e clique no botão da barra lateral Ícone na barra lateral. no canto superior direito do painel de saída para abrir o painel de detalhes.

O painel de perfilamento de dados com distribuições de colunas e estatísticas resumidas ao lado da prévia de saída.

Baixar resultados

Use o controle de download no painel de saída para exportar os resultados da pré-visualização para um arquivo:

  • Linhas exibidas: Baixe as linhas mostradas na prévia, como CSV ou Excel.
  • Todas as linhas: Baixe o conjunto de dados completo. Disponível quando você tiver permissão para executar o fluxo de trabalho. A exportação de todas as linhas para Excel requer computação sem servidor.

Seu administrador de espaço de trabalho pode desativar os downloads.

Recursos adicionais