Förbereda och bearbeta data med Azure Databricks

  • Inlärningsväg
  • 4 Moduler

I korthet

Lär dig de viktigaste färdigheterna för att skapa robusta, skalbara datatekniklösningar med Azure Databricks och Unity Catalog. Lär dig hur du utformar effektiva datamodeller, matar in data från olika källor, omvandlar rådata till analysklara format och säkerställer datakvaliteten i din lakehouse-arkitektur.

I den här utbildningsvägen får du lära dig hur du skapar ett arbetsflöde för datateknik med hjälp av Azure Databricks och Unity Catalog. Från och med grundläggande datamodelleringsbegrepp utformar du scheman och partitioneringsstrategier som är optimerade för analytiska arbetsbelastningar. Sedan utforskar du flera inmatningsmönster – från hanterade anslutningar till strömmande pipelines – för att föra in data i lakehouse. Därefter använder du transformeringstekniker för att rensa och omforma data för företagsanvändning. Slutligen implementerar du kvalitetskontroller för att upprätthålla dataintegriteten i dina pipelines. I slutet har du praktiska kunskaper för att skapa och skapa produktionsklara datalösningar i Unity Catalog.

Förutsättningar

  • God förståelse för Azure Databricks-arbetsytor och Unity Catalog-begrepp
  • Kunskaper om SQL- och Python-programmering
  • Kunskaper om grundläggande begrepp inom datateknik och informationslager

Moduler i den här utbildningsvägen

Utforma och implementera datamodellering med Azure Databricks

Effektiv datamodellering utgör grunden för en högpresterande och underhållsbar dataplattform. Den här modulen utforskar hur du utformar inmatningslogik, väljer lämpliga verktyg och tabellformat, implementerar partitioneringsscheman, hanterar långsamt föränderliga dimensioner, väljer lämplig datakornighet och optimerar tabellprestanda genom klustringsstrategier i Azure Databricks med Unity Catalog.

Importera data till Unity Catalog

Datainmatning är en grundläggande funktion för alla dataplattformar. Den här modulen utforskar den omfattande uppsättningen tekniker som är tillgängliga i Azure Databricks för att läsa in data i Unity Catalog-tabeller. Du får lära dig hur du använder hanterade konnektorer med Lakeflow Connect, skriver anpassad inläsningskod i notebook-filer, tillämpar SQL-kommandon för inläsning av batchfiler, bearbetar CDC-flöden, konfigurerar strömmande inmatning från meddelandebussar, konfigurerar Auto Loader för automatisk filidentifiering och samordnar inmatningsarbetsflöden med Lakeflow-pipelines.

Rensa, transformera och ladda data i Unity Catalog

Datateknik kräver att rådata omvandlas till rena, välstrukturerade format som är redo för analys. Den här modulen utforskar tekniker för att profilera datakvalitet, välja lämpliga kolumntyper, matcha dubbletter och nullvärden, tillämpa filtrerings- och aggregeringstransformeringar, kombinera datauppsättningar med kopplingar och uppsättningsoperatorer, omforma data genom pivotering och avnormalisering samt läsa in transformerade data med hjälp av tilläggs-, skriv över- och sammanslagningsstrategier.

Implementera och hantera begränsningar för datakvalitet med Azure Databricks

Den här modulen utforskar strategier för att upprätthålla hög datakvalitet i Azure Databricks. Du får lära dig hur du implementerar verifieringskontroller, framtvingar scheman, hanterar schemaavvikelser och använder pipelineförväntningar för att säkerställa dataintegritet i dina datapipelines.

Start