Introducción

Los datos sin procesar rara vez llegan en un formato listo para el análisis. Los valores que faltan, los registros duplicados, los tipos de datos incoherentes y los conjuntos de datos mal estructurados son desafíos comunes que los ingenieros de datos deben abordar antes de que los datos puedan ofrecer valor empresarial. Sin una limpieza y transformación adecuadas, los resultados analíticos se vuelven poco confiables y los procesos posteriores fallan. Unity Catalog en Azure Databricks proporciona la base de gobernanza para administrar los recursos de datos transformados a lo largo de este proceso.

Azure Databricks ofrece un kit de herramientas para el trabajo de calidad y transformación de datos. La generación de perfiles de datos genera estadísticas de resumen que revelan problemas como porcentajes NULL, distribuciones de valores inesperados y desfase de datos. La selección de tipos garantiza que las columnas usen tipos de datos adecuados para la eficiencia del almacenamiento y el rendimiento de las consultas. Las técnicas de manejo de duplicados y nulos permiten identificar y resolver problemas comunes de calidad de los datos mediante SQL o PySpark. Las operaciones de transformación , como el filtrado, la agrupación, la agregación, las combinaciones y los operadores de conjuntos, vuelven a dar forma a los datos para satisfacer los requisitos analíticos.

Más allá de las transformaciones básicas, trabajará con técnicas avanzadas de remodelado. La desnormalización aplana las tablas relacionadas para mejorar el rendimiento de las consultas. La dinamización convierte los valores de fila en columnas para el análisis de tablas cruzadas, mientras que la desdinamización invierte este proceso para las estructuras de datos normalizadas. Por último, estrategias de carga como añadir, sobrescribir y combinar garantizan que los datos transformados lleguen correctamente a las tablas de destino, tanto si va a agregar nuevos registros, como reemplazar los datos existentes o sincronizar los cambios mediante operaciones upsert.

En este módulo, aprenderá a evaluar la calidad de los datos mediante la generación de perfiles, a aplicar técnicas de limpieza para resolver problemas comunes, transformar datos mediante operaciones sql y PySpark y cargar los resultados en tablas de Unity Catalog con la estrategia adecuada para cada escenario.