Ingestão de dados no Lakeflow Designer

Pode trazer qualquer dado acessível através do Azure Databricks para uma preparação visual de dados no Lakeflow Designer.

Toda a ingestão de dados no Designer começa com o operador Source . Quando abres o painel de configuração de um operador de Código-Fonte, tens as seguintes opções.

Consulte tabelas existentes

Clique em Explorar existentes para abrir o seletor de recursos e procurar tabelas e volumes no Unity Catalog. Use esta opção quando os seus dados já estiverem no Azure Databricks.

Também pode selecionar uma vista métrica do Unity Catalog como fonte. Quando seleciona uma vista métrica, selecione as dimensões e medidas a incluir, e o Designer gera a consulta agregada.

Importar uma pasta ou volume

Em vez de um ficheiro individual, o operador Source pode ter como destino um volume inteiro do Unity Catalog ou um caminho de pasta. O designer deteta o formato a partir dos ficheiros na pasta e carrega-os numa única tabela:

• Para formatos de ficheiros estruturados como CSV, JSON, Excel e Parquet, o Designer lê todos os ficheiros e combina as suas linhas numa única tabela.
• Para ficheiros de documentos como PDFs, o Designer lê cada ficheiro como uma única linha, por isso tens uma linha por ficheiro.

Arrastar e largar um ficheiro local

Arrasta um ficheiro CSV ou Excel da tua máquina local diretamente para a tela. O Designer carrega o ficheiro para um volume no Unity Catalog e cria automaticamente um operador Source.

Crie uma tabela a partir de um ficheiro

Selecione Criar tabela a partir do ficheiro no painel de configuração Source para carregar um ficheiro CSV ou Excel local e criar uma tabela do Catálogo Unity a partir dele. Use esta opção quando quiser que os dados persistam como uma tabela gerida em vez de armazenados num volume. Além disso, para grandes quantidades de dados, isto proporciona o melhor desempenho. Os ficheiros carregados estão sujeitos ao limite de tamanho de volume do Unity Catalog. Consulte Trabalhar com arquivos em volumes do Catálogo Unity.

Importação do Google Drive

Para importar um ficheiro do Google Drive:

1. No painel de configuração de origem, selecione Importar do Google Drive.
2. Selecione uma ligação ao Unity Catalog que tenha acesso ao Google Drive.
3. Forneça o URL do ficheiro.

Isto requer uma ligação ao Catálogo Unity configurada para acesso ao Google Drive. Consulte Ingest ficheiros do Google Drive para saber como configurar ligações.

Importar de SharePoint

Para importar um ficheiro do SharePoint:

1. No painel de configuração Source, selecione Importar de SharePoint.
2. Selecione uma ligação ao Unity Catalog que tenha acesso ao seu site SharePoint.
3. Forneça o link direto do ficheiro.

Isto requer uma ligação ao Catálogo Unity configurada para acesso ao SharePoint. Veja Ingest ficheiros de SharePoint para saber como configurar ligações.

Use o Lakeflow Connect para fontes adicionais

Se uma fonte de dados não estiver disponível diretamente no Designer, verifique o Lakeflow Connect para um conector gerido. O Lakeflow Connect suporta a ingestão de aplicações SaaS (Salesforce, Workday, HubSpot, entre outras), bases de dados, armazenamento na cloud e fontes de streaming. Depois de ingerir dados com o Lakeflow Connect numa tabela do Unity Catalog, pode usá-los como Fonte no Designer.

Recursos adicionais

• Crie uma preparação visual de dados no Lakeflow Designer
• Operadores incorporados no Lakeflow Designer