Ingerir dados no Lakeflow Designer

Você pode colocar todos os dados acessíveis por meio de Azure Databricks em uma preparação de dados visuais no Lakeflow Designer.

Toda a ingestão de dados no Designer começa com o operador De origem . Ao abrir o painel de configuração de um operador de origem, você tem as opções a seguir.

Navegar por tabelas existentes

Clique em Procurar existentes para abrir o seletor de ativos e navegar por tabelas e volumes no Unity Catalog. Use essa opção quando os dados já estiverem em Azure Databricks.

Você também pode selecionar uma visualização de métricas do Unity Catalog como fonte. Ao selecionar uma exibição de métrica, selecione as dimensões e medidas a serem incluídas e o Designer gera a consulta agregada.

Criar uma conexão com banco de dados externo

Em um operador Source não configurado, selecione Criar conexão de banco de dados externo para conectar a um banco de dados externo. O designer cria uma conexão com o Catálogo Unity e um catálogo estrangeiro, depois abre o catálogo para que você possa selecionar uma tabela.

Criar uma nova conexão com o Unity Catalog requer os privilégios CREATE CONNECTION e CREATE CATALOG na metastore do Unity Catalog.

O designer suporta os seguintes tipos de conexão:

• Amazon Redshift
• Azure Synapse
• Databricks
• Google BigQuery (plataforma de análise de dados)
• MySQL
• Oracle
• PostgreSQL
• Salesforce Data Cloud
• Compartilhamento de arquivos de nuvem de dados do Salesforce
• Snowflake
• SQL Server
• Teradata

Se uma fonte de dados não estiver disponível diretamente no Designer, verifique o Lakeflow Connect para obter um conector gerenciado. O Lakeflow Connect dá suporte à ingestão de aplicativos SaaS (Salesforce, Workday, HubSpot e muito mais), bancos de dados, armazenamento em nuvem e fontes de streaming. Depois de ingerir dados com o Lakeflow Connect em uma tabela do Catálogo do Unity, você poderá usá-los como fonte no Designer.

Ingerir uma pasta ou volume

Em vez de um arquivo individual, o operador Source pode ter como destino um volume inteiro do Unity Catalog ou um caminho de pasta. O Designer detecta o formato dos arquivos na pasta e os carrega em uma única tabela:

• Para formatos de arquivo estruturados, como CSV, JSON, Excel e Parquet, o Designer lê todos os arquivos e combina suas linhas em uma tabela.
• Para arquivos de documento, como PDFs, o Designer lê cada arquivo como uma única linha, para que você obtenha uma linha por arquivo.

Arraste e solte um arquivo

Arraste um arquivo para a tela a partir do navegador de arquivos do workspace ou do seu dispositivo local para criar automaticamente um operador Source . Para arquivos locais, o Designer envia uma cópia para um volume do Unity Catalog para que o operador leia.

Criar uma tabela a partir de um arquivo

Selecione Criar tabela no arquivo no painel configuração de origem para carregar um arquivo CSV ou Excel local e criar uma tabela do Catálogo do Unity a partir dele. Use essa opção quando quiser que os dados persistam como uma tabela gerenciada em vez de armazenados em um volume. Além disso, para grandes quantidades de dados, isso fornece o melhor desempenho. Os arquivos carregados estão sujeitos ao limite de tamanho do arquivo de volume do Catálogo do Unity. Consulte Trabalho com arquivos nos volumes do Unity Catalog.

Importar do Google Drive

Para importar um arquivo do Google Drive:

1. No painel Configuração de origem, selecione Importar do Google Drive.
2. Selecione uma conexão existente do Catálogo Unity que tenha acesso ao Google Drive, ou selecione Criar conexão para criar uma.
3. Forneça a URL do arquivo.

Para requisitos de conexão e instruções de configuração, veja Ingeste arquivos do Google Drive.

Importar do SharePoint

Para importar um arquivo de SharePoint:

1. No painel Configuração de origem, selecione Import de SharePoint.
2. Selecione uma conexão existente do Unity Catalog que tenha acesso ao seu site SharePoint, ou selecione Criar conexão para criar uma.
3. Forneça o link de arquivo direto.

Para requisitos de conexão e instruções de configuração, consulte Importar arquivos do SharePoint.

Recursos adicionais

• Criar uma preparação de dados visuais no Lakeflow Designer
• Operadores integrados no Lakeflow Designer