Ingerir dados no Unity Catalog
Intermédio
Engenheiro de Dados
Azure Databricks
A ingestão de dados é uma capacidade fundamental para qualquer plataforma de dados. Este módulo explora o conjunto abrangente de técnicas disponíveis no Azure Databricks para carregar dados em tabelas do Unity Catalog. Vai aprender a usar conectores geridos com o Lakeflow Connect, escrever código de ingestão personalizado em notebooks, aplicar comandos SQL para carregamento de ficheiros em lote, processar feeds de captura de dados de alteração, configurar a ingestão de streaming a partir de barramentos de mensagens, configurar o Auto Loader para deteção automática de ficheiros e orquestrar fluxos de trabalho de ingestão com pipelines Lakeflow.
Objetivos de aprendizagem
Ao final deste módulo, você será capaz de:
- Configure o Lakeflow Connect para ingerir dados de fontes externas usando conectores gerenciados
- Ingerir dados em lote e em streaming usando notebooks com DataFrames e Structured Streaming
- Use comandos SQL como COPY INTO e CREATE TABLE AS SELECT para a ingestão baseada em ficheiros
- Feeds de captura de dados de alterações de processos com a API AUTO CDC
- Configure o Spark Structured Streaming para ingestão de dados em tempo real a partir do Kafka e dos Event Hubs
- Configure o Auto Loader para detetar e processar automaticamente novos ficheiros com evolução de esquema
- Orqueste fluxos de trabalho de ingestão de dados usando pipelines Lakeflow
Pré-requisitos
Devem ser cumpridos os seguintes pré-requisitos:
- Compreensão básica dos conceitos do Azure Databricks e do Unity Catalog
- Familiaridade com programação SQL e Python
- Conhecimento de conceitos de engenharia de dados, como processamento por lotes e streaming