Criar uma preparação de dados visuais no Lakeflow Designer

O Lakeflow Designer permite criar fluxos de trabalho de transformação de dados em uma tela visual, arrastar e soltar. Esta página explica como criar uma preparação visual de dados, desde adicionar uma fonte de dados e encadear operadores até visualizar resultados e gravar no Unity Catalog.

Requirements

Para usar o Lakeflow Designer, você deve ter:

• Um workspace do Azure Databricks com o Unity Catalog habilitado.
• Permissão CAN USE em pelo menos um recurso de computação de uso geral (sem servidor ou para todas as finalidades).

Selecione qual computação usar no seletor de computação no canto superior direito do Designer, ao lado do botão Agendar .

Criar uma nova preparação de dados visuais

Para criar uma nova preparação de dados visuais, clique no Novo na barra lateral e selecione Preparação de dados visuais.

O Designer é aberto com uma tela de boas-vindas na qual você pode adicionar uma fonte de dados ou explorar uma preparação visual de dados de exemplo.

Para localizar os arquivos de preparação de dados visuais existentes, abra a página de preparação de dados visuais na barra lateral. Esta página lista todos os arquivos de preparação de dados visuais e inclui um vídeo de introdução para ajudá-lo a começar a usar o Lakeflow Designer.

Adicionar uma fonte de dados

Cada preparação de dados visuais começa com uma ou mais fontes de dados. O operador de origem representa uma fonte de dados na tela.

Para adicionar uma fonte de dados:

1. Adicionar um operador de origem. Na tela de boas-vindas, clique em Selecionar operador de origem. Na tela, abra o menu do operador e selecione Origem.
2. No painel Configuração de origem , escolha como trazer seus dados:
   • Selecione uma tabela existente.
   • Carregue um arquivo CSV ou Excel local.
   • Crie uma tabela a partir de um arquivo.
   • Importar do Google Drive ou SharePoint.
3. Selecione ou configure sua fonte de dados. O operador de origem aparece na tela.

Você também pode arrastar e soltar um arquivo CSV ou Excel diretamente na tela para criar rapidamente um operador de origem.

Para alterar a origem posteriormente, abra o operador De origem e clique em Selecionar uma nova fonte de dados. Alterar a origem invalida o cache de saída para todos os operadores downstream.

Para obter detalhes completos sobre cada opção de ingestão, consulte Ingestão de dados no Lakeflow Designer.

Adicionar e configurar operadores

Para adicionar um operador, abra o menu do operador no painel lateral no lado esquerdo da tela. Clique em um operador para adicioná-lo ao painel ou arraste um operador do menu para o painel. Você também pode clicar no + botão ao lado de qualquer operador existente para adicionar um novo operador com uma conexão automática.

Para configurar um operador, clique duas vezes nele ou passe o mouse sobre ele e clique no (Operador Editar) para abrir o painel de configuração. Defina as opções para esse tipo de operador e clique em Aplicar.

Para obter detalhes sobre cada operador disponível, consulte operadores internos no Lakeflow Designer. Para obter detalhes sobre como criar seus próprios operadores definidos pelo usuário, consulte operadores definidos pelo usuário no Lakeflow Designer.

Conectar operadores

Para conectar dois operadores, clique e arraste do identificador de saída (o pequeno círculo na borda direita de um operador) para o identificador de entrada (o pequeno círculo na borda esquerda do próximo operador). Isso especifica que os dados fluem do primeiro operador para o segundo. Os dados fluem da esquerda para a direita por meio da preparação de dados visuais.

Alguns operadores, como Join e Combine, aceitam várias entradas.

Para remover uma conexão, passe o mouse sobre ela e clique no na barra de ferramentas exibida sobre a conexão.

Usar Código Genial

A qualquer momento durante a edição no Lakeflow Designer, você pode criar prompts para o Genie Code para ajudar. Consulte o Código do Genie.

Ao usar o Genie Code, os seguintes botões fornecem funcionalidade adicional:

• : anexa um arquivo a ser usado como parte do prompt.
• : utilize para mencionar objetos, como tabelas ou arquivos, como parte do prompt.
• : inicia um novo thread de chat com o novo contexto do agente.
• : abre o painel lateral do histórico de conversas e uma exibição mais detalhada do que o agente está fazendo.

O Genie Code mostra um resumo de uma linha de sua edição mais recente acima da caixa de entrada.

Visualizar resultados

Selecione qualquer operador para ver os resultados no painel de saída na parte inferior da tela. Para a maioria dos tipos de operador, os dados de entrada estão à esquerda e os dados de saída estão à direita. Operadores que produzem resultados que não são de tabela, como gráficos, HTML ou imagens, renderizam essas saídas diretamente no painel de saída.

Use o controle de exibição no painel de saída para alternar entre entrada e saída (o padrão), somente entrada ou saída. No modo de exibição combinado, arraste o divisor para redimensionar os painéis de entrada e saída.

Por padrão, os operadores processam um exemplo limitado de dados para versões prévias. Use a lista suspensa Linhas verificadas no painel de saída para controlar quantas linhas processar:

• Linhas examinadas: Limite: processa as primeiras N linhas de entrada. Especifique o número de linhas no campo ao lado do menu suspenso.
• Linhas examinadas: Máx: Processa todas as linhas de entrada. No modo Max, o operador também mostra a contagem exata de linhas de saída abaixo do operador na tela.

A configuração Linhas verificadas controla apenas o processamento da visualização. Execuções agendadas e execuções de tarefas sempre processam o conjunto de dados completo.

Execute a preparação completa dos dados visuais

Clique em Executar tudo para executar cada operador na tela contra o conjunto de dados completo em uma única ação, sem pré-visualizar cada operador individualmente. O designer executa todo o arquivo de preparação de dados visuais e atualiza os resultados para cada operador, depois mostra a contagem exata de linhas de saída de cada operador abaixo dele na tela.

Transforme os dados diretamente na tabela de resultados

Filtre e transforme seus dados diretamente na tabela de saída. Depois de renomear uma coluna, filtrar ou inserir uma coluna na tabela de resultados, clique em Aplicar à tela para criar os operadores que reproduzem exatamente o que você fez na tabela.

Você pode aplicar as seguintes operações da tabela de resultados:

• Renomear colunas
• Remover colunas
• Inserir colunas
• Reorganizar colunas
• Alterar o tipo de dado
• Filter
• Remover duplicatas
• Remover nulos

Gravar resultados

Adicione um operador de saída para gravar seus resultados. O operador Output pode gravar em uma tabela do Unity Catalog, publicar os resultados como uma visualização materializada ou gravar um arquivo CSV, do Excel ou JSON em um volume do Unity Catalog.

1. Abra o menu do operador e selecione Saída ou clique + ao lado do último operador e selecione Saída.
2. Conecte o identificador de saída da última transformação ao identificador de entrada do operador de saída se ainda não estiver conectado.
3. Clique duas vezes no operador De saída para abrir seu painel de configuração.
4. Selecione um tipo de saída e configure o destino. Para uma tabela, insira um nome de tabela, selecione o local de saída (catálogo e esquema) e selecione um modo de gravação.
5. Clique em Executar.

Para obter o conjunto completo de tipos de saída e modos de gravação, consulte Saída.

Agendar ou executar em produção

Você pode automatizar seus fluxos de trabalho agendando-os como trabalhos. Clique no botão Agendar no menu superior para criar um trabalho agendado para a preparação de dados visuais ou adicione a preparação de dados visuais a um trabalho de Azure Databricks maior como uma tarefa.

Para mover uma preparação de dados visuais para produção, incluindo armazená-la no Git, implantá-la com Pacotes de Automação Declarativa e parametrizá-la entre ambientes, consulte Mover um arquivo de preparação de dados visuais para produção.

Exportar e importar um arquivo de preparação de dados visuais

Os arquivos de preparação de dados visuais são armazenados nativamente no workspace. Você pode exportá-los e importá-los para movê-los entre workspaces ou compartilhá-los.

Para exportar um arquivo de preparação de dados visuais:

1. Clique no No canto superior direito.
2. Selecione Arquivo>Exportar.
3. O arquivo é exportado como <file_name>.designer.ipynb.

Para importar um arquivo de preparação de dados visuais:

1. No sistema de arquivos do espaço de trabalho, clique no .
2. Selecione Importar.
3. Selecione o arquivo de preparação de dados visuais a ser importado.

Para versionar um arquivo de preparação visual de dados no Git e movê-lo para produção, consulte Mover um arquivo de preparação visual de dados para produção.

Renomear um arquivo de preparação de dados visuais

Para renomear um arquivo de preparação de dados visuais, clique na guia mostrando seu nome na parte superior do editor e insira um novo nome.

Excluir um arquivo de preparação visual de dados

Para excluir um arquivo de preparação visual de dados, abra o menu kebab para o arquivo e selecione Mover para lixeira.

Para excluir vários arquivos de preparação de dados visuais de uma só vez, abra o Workspace da navegação esquerda, selecione os arquivos que você deseja remover e selecione Mover para o lixo na parte superior da lista.

Dicas adicionais ao trabalhar na tela

As ações a seguir estão disponíveis na tela para ajudá-lo a editar sua preparação de dados visuais.

• Renomear um operador: clique na caixa na parte superior de qualquer painel de configuração para renomear o operador. Nomes descritivos tornam a preparação visual de dados mais fácil de entender à primeira vista. Alguns operadores, como o operador SQL, podem referenciar a saída de outros operadores pelo nome.
• Copie um operador: passe o mouse sobre um operador e clique em , ou selecione um operador e pressione Cmd/Ctrl+C e, em seguida, Cmd/Ctrl+V.
• Excluir um operador: passe o mouse sobre um operador e clique no Na barra de ferramentas que aparece acima dele, selecione o operador e pressione Delete.
• Habilitar ou desativar um operador: Clique com o botão direito em um operador, ou em um grupo, e selecione Desativar para excluí-lo das execuções, ou Habilitar para incluí-lo novamente. Um operador desativado não produz linhas de saída, então operadores posteriores recebem um resultado vazio até que você o habilite.
• Layout automático: clique no na barra de ferramentas do cabeçalho para organizar automaticamente todos os operadores em uma disposição compacta.
• Ajustar à visualização: clique em na barra de ferramentas do cabeçalho para ver todos os operadores no visor atual.
• Desfazer e refazer: pressione Cmd/Ctrl+Z e Cmd/Ctrl+Shift+Z ou use os botões desfazer e refazer na barra de ferramentas de cabeçalho.
• Abra a paleta de comandos: pressione Cmd+Shift+P no macOS ou Ctrl+Shift+P no Windows para acessar rapidamente as ações do editor.
• Exibir código gerado: abra a guia Tabela de conteúdo no menu à esquerda, selecione um operador e expanda a seção Código gerado para ver o código que o Designer gera para ele. Para obter mais informações, consulte o sumário.
• Exibir o histórico de versão: clique no No painel direito, abra o histórico de versões da preparação de dados visuais, que lista suas alterações. Selecione uma versão para ver uma diferença visual na tela que a compare com a versão seguinte, com operadores adicionados, removidos e alterados destacados. Ao passar o mouse sobre um operador no índice, o operador correspondente é destacado nas duas versões do diff.

Recursos adicionais

• Ingerir dados no Lakeflow Designer
• Operadores integrados no Lakeflow Designer