Ingerir dados no Catálogo do Unity
Intermediário
Engenheiro de dados
Azure Databricks
A ingestão de dados é uma funcionalidade fundamental para qualquer plataforma de dados. Este módulo explora o conjunto abrangente de técnicas disponíveis no Azure Databricks para carregar dados em tabelas do Catálogo do Unity. Você aprenderá a usar conectores gerenciados com o Lakeflow Connect, escrever código de ingestão personalizado em notebooks, aplicar comandos SQL para carregamento de arquivos em lotes, processar feeds de captura de dados de alteração, configurar a ingestão de streaming de barramentos de mensagens, configurar o Auto Loader para detecção automática de arquivos e orquestrar fluxos de trabalho de ingestão com pipelines do Lakeflow.
Objetivos de aprendizagem
Ao final deste módulo, você saberá como:
- Configurar o Lakeflow Connect para ingerir dados de fontes externas usando conectores gerenciados
- Ingerir dados em lote e streaming usando notebooks com DataFrames e Streaming Estruturado
- Usar comandos SQL como COPY INTO e CREATE TABLE AS SELECT para ingestão baseada em arquivo
- Processar feeds de captura de dados de mudanças com a API AUTO CDC
- Configurar o Streaming Estruturado do Spark para ingestão de dados em tempo real do Kafka e dos Hubs de Eventos
- Configurar o Carregador Automático para detectar e processar automaticamente novos arquivos com a evolução do esquema
- Orquestre fluxos de trabalho de ingestão de dados usando pipelines do Lakeflow
Pré-requisitos
São necessários os seguintes pré-requisitos:
- Compreensão básica dos conceitos do Azure Databricks e do Unity Catalog
- Familiaridade com a programação do SQL e do Python
- Conhecimento de conceitos de engenharia de dados, como processamento em lote e streaming