Gegevens voorbereiden en verwerken met Azure Databricks
In een oogopslag
-
Niveau
-
Vaardigheid
-
Product
-
Role
-
Onderwerp
Leer de essentiële vaardigheden voor het bouwen van robuuste, schaalbare oplossingen voor data engineering met Azure Databricks en Unity Catalog. Leer hoe u effectieve gegevensmodellen ontwerpt, gegevens uit diverse bronnen opneemt, onbewerkte gegevens transformeert in indelingen die gereed zijn voor analyses en hoe u gegevenskwaliteit in uw lakehouse-architectuur kunt garanderen.
In dit leertraject leert u hoe u een werkstroom voor data engineering bouwt met behulp van Azure Databricks en Unity Catalog. Vanaf basisconcepten voor gegevensmodellering ontwerpt u schema's en partitioneringsstrategieën die zijn geoptimaliseerd voor analytische workloads. Vervolgens verkent u meerdere gegevensinnamepatronen, van beheerde connectors tot streamingpijplijnen, om gegevens in uw lakehouse te brengen. Vervolgens past u transformatietechnieken toe om gegevens op te schonen en opnieuw vorm te geven voor zakelijk gebruik. Ten slotte implementeert u kwaliteitscontroles om de gegevensintegriteit in uw pijplijnen te behouden. Aan het einde beschikt u over de praktische vaardigheden voor het ontwerpen en bouwen van gegevensoplossingen die gereed zijn voor productie in Unity Catalog.
Vereisten
- Goed begrip van Azure Databricks-werkruimten en Unity Catalog-concepten
- Bekendheid met programmeren met SQL en Python
- Kennis van fundamentele concepten van data engineering en datawarehouse
Prestatiecode
Wilt u een prestatiecode aanvragen?
Modules in dit leertraject
Effectieve gegevensmodellering vormt de basis van een performant en onderhoudbaar gegevensplatform. In deze module wordt beschreven hoe u opnamelogica ontwerpt, de juiste hulpprogramma's en tabelindelingen selecteert, partitioneringsschema's implementeert, langzaam veranderende dimensies beheert, de juiste gegevensgranulariteit kiest en de tabelprestaties optimaliseert via clusteringstrategieën in Azure Databricks met Unity Catalog.
Gegevensopname is een fundamentele mogelijkheid voor elk gegevensplatform. In deze module wordt de uitgebreide set technieken verkend die beschikbaar zijn in Azure Databricks voor het laden van gegevens in Unity Catalog-tabellen. U leert hoe u beheerde connectors gebruikt met Lakeflow Connect, aangepaste ingestiecode schrijft in notebooks, SQL-opdrachten toepast voor het laden van batchbestanden, change data capture-(CDC-)feeds verwerkt, streamingingestie van berichtenbussen configureert, Auto Loader instelt voor automatische bestandsdetectie en ingestiewerkstromen organiseert met Lakeflow-pijplijnen.
Data engineering vereist het transformeren van onbewerkte gegevens in schone, goed gestructureerde indelingen die klaar zijn voor analyse. Deze module verkent technieken voor het profileren van gegevenskwaliteit, het selecteren van de juiste kolomtypen, het omzetten van duplicaten en null-waarden, het toepassen van filter- en aggregatietransformaties, het combineren van gegevenssets met joins en setoperators, het opnieuw vormgeven van gegevens via draai- en denormalisatie en het laden van getransformeerde gegevens met behulp van toevoeg-, overschrijf- en samenvoegstrategieën.
In deze module worden strategieën besproken voor het onderhouden van hoge gegevenskwaliteit in Azure Databricks. U leert hoe u validatiecontroles implementeert, schema's afdwingt, schemadrift beheert en pijplijnverwachtingen gebruikt om de gegevensintegriteit in uw gegevenspijplijnen te garanderen.