Ingerir dados no Lakeflow Designer

Você pode colocar todos os dados acessíveis por meio de Azure Databricks em uma preparação de dados visuais no Lakeflow Designer.

Toda a ingestão de dados no Designer começa com o operador De origem . Ao abrir o painel de configuração de um operador de origem, você tem as opções a seguir.

Navegar por tabelas existentes

Clique em Procurar existentes para abrir o seletor de ativos e navegar por tabelas e volumes no Unity Catalog. Use essa opção quando os dados já estiverem em Azure Databricks.

Você também pode selecionar uma visualização de métricas do Unity Catalog como fonte. Ao selecionar uma exibição de métrica, selecione as dimensões e medidas a serem incluídas e o Designer gera a consulta agregada.

Ingerir uma pasta ou volume

Em vez de um arquivo individual, o operador Source pode ter como destino um volume inteiro do Unity Catalog ou um caminho de pasta. O Designer detecta o formato dos arquivos na pasta e os carrega em uma única tabela:

• Para formatos de arquivo estruturados, como CSV, JSON, Excel e Parquet, o Designer lê todos os arquivos e combina suas linhas em uma tabela.
• Para arquivos de documento, como PDFs, o Designer lê cada arquivo como uma única linha, para que você obtenha uma linha por arquivo.

Arrastar e soltar um arquivo local

Arraste um arquivo CSV ou Excel do computador local diretamente para a tela. O Designer carrega o arquivo em um volume no Catálogo do Unity e cria automaticamente um operador de origem.

Criar uma tabela a partir de um arquivo

Selecione Criar tabela no arquivo no painel configuração de origem para carregar um arquivo CSV ou Excel local e criar uma tabela do Catálogo do Unity a partir dele. Use essa opção quando quiser que os dados persistam como uma tabela gerenciada em vez de armazenados em um volume. Além disso, para grandes quantidades de dados, isso fornece o melhor desempenho. Os arquivos carregados estão sujeitos ao limite de tamanho do arquivo de volume do Catálogo do Unity. Consulte Trabalho com arquivos nos volumes do Unity Catalog.

Importar do Google Drive

Para importar um arquivo do Google Drive:

1. No painel Configuração de origem, selecione Importar do Google Drive.
2. Selecione uma conexão do Catálogo do Unity que tenha acesso ao Google Drive.
3. Forneça a URL do arquivo.

Isso requer uma conexão do Unity Catalog configurada para acesso ao Google Drive. Consulte Ingestão de arquivos do Google Drive para obter instruções sobre a configuração de conexões.

Importar do SharePoint

Para importar um arquivo de SharePoint:

1. No painel Configuração de origem, selecione Import de SharePoint.
2. Selecione uma conexão do Catálogo do Unity que tenha acesso ao seu site de SharePoint.
3. Forneça o link de arquivo direto.

Isso requer uma conexão Unity Catalog configurada para acesso ao SharePoint. Consulte Ingestão de arquivos do SharePoint para saber como configurar conexões.

Usar o Lakeflow Connect para fontes adicionais

Se uma fonte de dados não estiver disponível diretamente no Designer, verifique o Lakeflow Connect para obter um conector gerenciado. O Lakeflow Connect dá suporte à ingestão de aplicativos SaaS (Salesforce, Workday, HubSpot e muito mais), bancos de dados, armazenamento em nuvem e fontes de streaming. Depois de ingerir dados com o Lakeflow Connect em uma tabela do Catálogo do Unity, você poderá usá-los como fonte no Designer.

Recursos adicionais

• Criar uma preparação de dados visuais no Lakeflow Designer
• Operadores integrados no Lakeflow Designer