Implementar y administrar restricciones de calidad de datos con Azure Databricks
Intermedio
Ingeniero de datos
Azure Databricks
Este módulo explora estrategias para mantener una alta calidad de datos en Azure Databricks. Aprenderá cómo implementar controles de validación, aplicar esquemas, administrar la desviación del esquema y utilizar las expectativas de canalización para garantizar la integridad de los datos en todas sus canalizaciones de datos.
Objetivos de aprendizaje
Al término de este módulo, sabrá hacer lo siguiente:
- Implementación de comprobaciones de validación para las restricciones de nulabilidad, cardinalidad y intervalo
- Implementar comprobaciones de tipos de datos mediante la imposición de esquemas y la conversión explícita
- Imponer el esquema y gestionar la desviación del esquema mediante Auto Loader y Delta Lake
- Administra la calidad de los datos utilizando las expectativas de las canalizaciones en las canalizaciones de Lakeflow
Requisitos previos
Se deben completar los siguientes requisitos previos:
- Conocimiento básico de los espacios de trabajo de Azure Databricks y el Catálogo de Unity
- Familiaridad con SQL y conceptos de ingeniería de datos.