Limpar, transformar e carregar dados no Catálogo do Unity
Intermediário
Engenheiro de dados
Azure Databricks
A engenharia de dados exige a transformação de dados brutos em formatos limpos e bem estruturados prontos para análise. Este módulo explora técnicas de criação de perfil de qualidade de dados, seleção de tipos de coluna apropriados, resolução de valores duplicados e nulos, a aplicação de transformações de filtragem e agregação, combinação de conjuntos de dados com junções e operadores de conjunto, remodelação de dados por meio de dinamização e desnormalização e carregamento de dados transformados usando estratégias de acréscimo, substituição e mesclagem.
Objetivos de aprendizagem
Ao final deste módulo, você será capaz de fazer o seguinte:
- Dados de perfil usando comandos SQL e recursos de criação de perfil de dados para avaliar a qualidade dos dados
- Escolha os tipos de dados de coluna apropriados para otimizar o armazenamento e garantir a integridade dos dados
- Identificar e resolver valores duplicados, ausentes e nulos em conjuntos de dados
- Aplicar operações de filtragem, agrupamento e agregação para transformar dados
- Combinar conjuntos de dados usando junções e definir operadores como UNION, INTERSECT e EXCEPT
- Remodelar dados usando técnicas de desnormalização, transformar linhas em colunas e transformar colunas em linhas
- Carregar dados transformados em tabelas do Catálogo do Unity usando as operações INSERT, MERGE e overwrite
Pré-requisitos
Os seguintes pré-requisitos devem ser concluídos:
- Compreensão básica de conceitos do Catálogo do Azure Databricks e do Unity
- Familiaridade com a programação do SQL e do Python
- Conhecimento de conceitos de engenharia de dados, como qualidade de dados e transformações