Rensa, transformera och ladda data i Unity Catalog
Medel
Datatekniker
Azure Databricks
Datateknik kräver att rådata omvandlas till rena, välstrukturerade format som är redo för analys. Den här modulen utforskar tekniker för att profilera datakvalitet, välja lämpliga kolumntyper, matcha dubbletter och nullvärden, tillämpa filtrerings- och aggregeringstransformeringar, kombinera datauppsättningar med kopplingar och uppsättningsoperatorer, omforma data genom pivotering och avnormalisering samt läsa in transformerade data med hjälp av tilläggs-, skriv över- och sammanslagningsstrategier.
Utbildningsmål
I slutet av den här modulen kan du:
- Profilera data med hjälp av SQL-kommandon och dataprofileringsfunktioner för att utvärdera datakvaliteten
- Välj lämpliga kolumndatatyper för att optimera lagring och säkerställa dataintegritet
- Identifiera och lösa duplicerade, saknade och null-värden i datauppsättningar
- Använda filtrerings-, grupperings- och aggregeringsåtgärder för att transformera data
- Kombinera datauppsättningar med kopplingar och ange operatorer som UNION, INTERSECT och EXCEPT
- Omforma data med hjälp av tekniker för denormalisering, pivotering och avpivotering
- Läsa in transformerade data i Unity Catalog-tabeller med insert-, MERGE- och överskrivningsåtgärder
Förutsättningar
Följande krav bör vara uppfyllda:
- Grundläggande förståelse för begreppen Azure Databricks och Unity Catalog
- Kunskaper om SQL- och Python-programmering
- Kunskaper om datatekniska begrepp som datakvalitet och omvandlingar