Limpar, transformar e carregar dados no Unity Catalog
Intermédio
Engenheiro de Dados
Azure Databricks
A engenharia de dados exige transformar dados brutos em formatos limpos e bem estruturados, prontos para análise. Este módulo explora técnicas para perfilar a qualidade dos dados, selecionar tipos de colunas apropriados, resolver duplicados e valores nulos, aplicar transformações de filtragem e agregação, combinar conjuntos de dados com joins e operadores de conjunto, remodelar dados através de pivotagem e desnormalização, e carregar dados transformados usando estratégias de anexação, sobrescrição e fusão.
Objetivos de aprendizagem
Ao final deste módulo, você é capaz de:
- Perfilar dados usando comandos SQL e funcionalidades de perfil de dados para avaliar a qualidade dos dados
- Escolha tipos de dados de coluna adequados para otimizar o armazenamento e garantir a integridade dos dados
- Identificar e resolver valores duplicados, em falta e nulos em conjuntos de dados
- Aplicar operações de filtragem, agrupamento e agregação para transformar dados
- Combinar conjuntos de dados usando joins e operadores de conjunto como UNION, INTERSECT e EXCEPT
- Remodelar dados usando técnicas de desnormalização, pivô e despivô
- Carregar dados transformados em tabelas do Unity Catalog usando operações INSERT, MERGE e de sobrescrição
Pré-requisitos
Devem ser cumpridos os seguintes pré-requisitos:
- Compreensão básica dos conceitos do Azure Databricks e do Unity Catalog
- Familiaridade com programação SQL e Python
- Conhecimento de conceitos de engenharia de dados, como qualidade e transformações de dados