Pré-visualize e aperfeiçoe os resultados no Lakeflow Designer

À medida que constrói uma preparação visual de dados, o Lakeflow Designer pré-visualiza os resultados de cada operador para que possa verificar o seu trabalho sem ter de executar todo o fluxo de trabalho. Esta página descreve como ler e controlar pré-visualizações, executar parte ou toda a preparação visual dos dados, guardar os resultados dos operadores com checkpoints e refinar os dados diretamente na tabela de resultados.

Usar o painel de saída

Selecione qualquer operador para ver os resultados no painel de saída na parte inferior do ecrã. Para a maioria dos tipos de operadores, os dados de entrada estão à esquerda e os dados de saída à direita. Operadores que produzem resultados que não sejam tabelas, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.

Para uma visualização ou saída HTML, clique no ícone de ecrã inteiro. no cabeçalho do painel para expandir a saída e preencher a janela do navegador. Em ecrã completo, o Designer esconde os controlos de autoria como Linhas analisadas e mantém o prompt do Genie Code disponível, para que possas pedir alterações sem sair da vista. O URL da página regista a visualização em ecrã inteiro, por isso um link partilhado reabre a mesma saída em ecrã completo. Prima Escape para sair.

Use o controlo de vista no painel de saída para alternar entre entrada e saída (o padrão), apenas entrada ou apenas saída. Na vista combinada, arraste o divisor para redimensionar os painéis de entrada e saída.

Se a execução do operador selecionado tiver dados de desempenho, clique em Performance no painel de saída para abrir o perfil completo da consulta.

Painel de saída do LFD com pré-visualizações de entrada e saída e o menu de linhas digitalizadas aberto.

Controlar a quantidade de dados que as pré-visualizações processam

O Designer pré-visualiza automaticamente os operadores. Por defeito, os operadores processam as primeiras 1.000 linhas de entrada para pré-visualizações. Para alterar o padrão, use o menu de Pré-visualização na barra de ferramentas do canvas e selecione Primeiras N linhas para introduzir um novo limite, ou selecione Todas as linhas. Selecione Aplicar a todos os operadores para limpar a sobreposição de Linhas analisadas de cada operador para que use o padrão atual.

Utilize o menu Linhas analisadas no painel de saída para substituir a predefinição de um operador individual:

  • Linhas analisadas: Herda: Utiliza a predefinição do menu Pré-visualização.
  • Linhas analisadas: Limite: Processa as primeiras N linhas de entrada. Introduza o limite de linhas no campo ao lado do menu.
  • Linhas digitalizadas: Todas as linhas: Processa todas as linhas de entrada.

Quando uma pré-visualização processa todas as linhas, a tela mostra a contagem exata de linhas de saída do operador. Para operadores com múltiplas saídas, passe o rato sobre o selo de contagem de linhas para ver as contagens por saída.

Warning

Gerar uma pré-visualização com Linhas analisadas: Todas as linhas reexecuta o operador e os seus operadores a montante no conjunto de dados completo e pode demorar muito tempo.

Os limites de pré-visualização não se aplicam a trabalhos agendados nem ao Run all.

Execute a preparação completa dos dados visuais

Clique em Executar tudo para executar cada operador na tela contra o conjunto de dados completo numa única ação, sem pré-visualizar cada operador individualmente. O Designer executa o ficheiro inteiro de preparação visual de dados e atualiza os resultados de cada operador e, em seguida, mostra o número exato de linhas de saída de cada operador por baixo deste na área de desenho.

O menu Executar contém mais ações para executar toda a preparação visual de dados:

  1. Clique no ícone do menu Kebab. no cabeçalho do ficheiro e selecione Executar.
  2. Escolha uma ação:
    • Executar tudo: Executar toda a preparação dos dados visuais.
    • Interromper execução: Parar uma preparação de dados visuais em curso.
    • Ir para o operador da última execução: Coloca o foco no operador executado mais recentemente.
    • Limpar>Limpar todas as saídas do operador: Remover os resultados apresentados.
    • Limpar>Limpar o estado e executar tudo: Limpar o estado de computação e voltar a executar a preparação visual dos dados.

A autorização requer permissão para editar o ficheiro de preparação de dados visuais.

Aproxime-se de um operador

Clique com o botão direito num operador e selecione Executar até esse operador para o executar, juntamente com os seus operadores a montante, contra o conjunto de dados completo, sem limites de linhas de pré-visualização. Operadores a jusante e ramificações desligadas não funcionam.

Configurar checkpoints de operador

Os checkpoints guardam os resultados do operador para que as pré-visualizações possam reutilizá-los sem ter de repetir operadores a montante. No painel de configuração do operador, abra as definições do Operador e selecione Checkpoint:

  • Auto: O designer escolhe quais os resultados a guardar. Este é o padrão para novos operadores.
  • Ativado: Guarde os resultados deste operador.
  • Desativado: Não guarde os resultados deste operador.

Para alterar as definições dos pontos de controlo em todo o ficheiro, pare qualquer fluxo de trabalho em execução, depois:

  1. Clique no ícone do menu Kebab. no cabeçalho do ficheiro e selecione Executar>Checkpointing.
  2. Escolha Definir tudo para Automático ou Definir tudo para Ligado.

A definição aplica-se a operadores editáveis com saídas. Os operadores modificados externamente mantêm as suas definições.

Alterar as definições do ponto de controlo requer permissão para editar o ficheiro de preparação de dados visuais, executá-lo e gerar pré-visualizações. As pré-visualizações podem reutilizar resultados guardados dentro da mesma sessão de computação. Executar tudo, Executar até este operador, e os trabalhos agendados recalculam os resultados.

Se o checkpoint não estiver disponível ou falhar, o Auto continua sem ele. Ativado, a pré-visualização ou execução falha.

Transforme os dados diretamente na tabela de resultados

Para além de adicionar operadores para transformar os seus dados, pode preparar os seus dados agindo diretamente sobre eles na tabela de resultados. As edições em pré-visualização alteram apenas a amostra de pré-visualização e ficam como alterações pendentes. Eles não alteram os teus dados nem o teu fluxo de trabalho até os aplicares.

Editar dados diretamente na tabela de resultados do LFD: agir sobre uma coluna faseia uma alteração pendente que Apply to canvas se transforma num operador.

As seguintes ações são suportadas na pré-visualização de dados:

  • Inserir uma coluna: Selecione Inserir coluna, depois insira um nome e uma expressão.
  • Altere o tipo de uma coluna: Selecione Alterar tipo e escolha o tipo de destino.
  • Remover linhas nulas: Selecione Remover linhas nulas para eliminar linhas onde a coluna é nula.
  • Linhas de filtro: Adicione uma ou mais condições de filtro na coluna.
  • Renomeie uma coluna: Clique duas vezes no cabeçalho da coluna e insira um novo nome.
  • Ocultar, reordenar ou remover colunas: Ocultar ou remover uma coluna, ou arrastar cabeçalhos de colunas para as reordenar.
  • Ordenar linhas: Adicione uma direção de ordenação na coluna. Ordenar em mais colunas acrescenta à ordem de ordenação.
  • Remover linhas duplicadas: Selecione Remover duplicatas e depois escolha as colunas para comparar.

Rever e aplicar as alterações pendentes

As edições preparadas são reunidas no painel Alterações Pendentes. Abre-o para rever ou remover uma edição antes de a aplicar. Para alterar uma nova coluna em fases, clique duas vezes nela na pré-visualização e atualize o seu nome ou expressão.

Para adicionar as edições faseadas ao seu fluxo de trabalho, selecione Aplicar ao canvas. O Lakeflow Designer adiciona operadores para as edições preparadas, pela ordem em que foram preparadas. Cada tipo de edição corresponde ao seguinte tipo de operador:

Pré-visualizar edição Operador adicionado ao ecrã
Inserir uma coluna Preparação
Alterar o tipo de uma coluna Preparação
Remover linhas nulas Filter
Filtrar linhas Filter
Remover, renomear, reordenar ou ocultar colunas Selecionar
Ordenar linhas Ordenação
Remover linhas duplicadas Único

Note

Se mudares a pré-visualização para processar o conjunto de dados completo enquanto tens alterações pendentes, o Lakeflow Designer pede-te para as aplicares primeiro para que as tuas edições faseadas não se percam.

Inspecionar o perfil de dados

Para ver detalhes sobre parte da sua saída, selecione os dados que quer inspecionar e depois clique no botão da barra lateral no canto superior direito do painel de saída para abrir o painel de detalhes.

O painel de perfilagem de dados com distribuições de colunas e estatísticas resumidas ao lado da pré-visualização da saída.

Descarregar resultados

Use o controlo de download no painel de saída para exportar os resultados de pré-visualização para um ficheiro:

  • Linhas apresentadas: Descarregue as linhas mostradas na pré-visualização, como CSV ou Excel.
  • Todas as linhas: Descarregue o conjunto de dados completo. Disponível quando tiver permissão para executar o fluxo de trabalho. A exportação de todas as linhas para Excel requer computação sem servidor.

O administrador do seu espaço de trabalho pode desativar os downloads.

Recursos adicionais