Projetar e implementar a modelagem de dados com o Azure Databricks
Intermediário
Engenheiro de dados
Azure Databricks
A modelagem efetiva de dados forma a base de uma plataforma de dados com desempenho e manutenção. Este módulo explora como projetar lógica de ingestão, selecionar ferramentas e formatos de tabela apropriados, implementar esquemas de particionamento, gerenciar dimensões de alteração lenta, escolher granularidade de dados apropriada e otimizar o desempenho da tabela por meio de estratégias de clustering no Azure Databricks com o Catálogo do Unity.
Objetivos de aprendizagem
Ao final deste módulo, você saberá como:
- Criar lógica de ingestão de dados e configurar conexões de fonte de dados
- Selecione a ferramenta de ingestão de dados apropriada para seu cenário
- Escolha entre Delta Lake, Apache Iceberg e outros formatos de tabela
- Projetar e implementar esquemas de particionamento de dados efetivos
- Selecionar e implementar tipos de dimensão de alteração lenta
- Projetar e implementar tabelas temporais para controle e auditoria de alterações
- Escolha a granularidade de dados apropriada para tabelas de fatos e dimensões
- Projetar e implementar estratégias de clustering para otimização de consulta
- Avaliar quando usar tabelas gerenciadas versus externas
Pré-requisitos
Os seguintes pré-requisitos devem ser concluídos:
- Compreensão básica dos workspaces do Azure Databricks e do Unity Catalog
- Familiaridade com os conceitos de SQL e data warehouse
- Conhecimento dos conceitos básicos do Delta Lake