Gegevensmodellering ontwerpen en implementeren met Azure Databricks
Gevorderd
Data-engineer
Azure Databricks
Effectieve gegevensmodellering vormt de basis van een performant en onderhoudbaar gegevensplatform. In deze module wordt beschreven hoe u opnamelogica ontwerpt, de juiste hulpprogramma's en tabelindelingen selecteert, partitioneringsschema's implementeert, langzaam veranderende dimensies beheert, de juiste gegevensgranulariteit kiest en de tabelprestaties optimaliseert via clusteringstrategieën in Azure Databricks met Unity Catalog.
Leerdoelen
Aan het einde van deze module kunt u het volgende doen:
- Logica voor gegevensopname ontwerpen en gegevensbronverbindingen configureren
- Selecteer het juiste hulpprogramma voor gegevensopname voor uw scenario
- Kiezen tussen Delta Lake, Apache Iceberg en andere tabelindelingen
- Effectieve schema's voor gegevenspartitionering ontwerpen en implementeren
- Langzaam veranderende dimensietypen selecteren en implementeren
- Tijdelijke tabellen ontwerpen en implementeren voor wijzigingen bijhouden en controleren
- De juiste gegevensgranulariteit kiezen voor feiten- en dimensietabellen
- Clusteringstrategieën ontwerpen en implementeren voor queryoptimalisatie
- Evalueren wanneer beheerde versus externe tabellen moeten worden gebruikt
Vereisten
De volgende vereisten moeten worden voltooid:
- Basiskennis van Azure Databricks-werkruimten en Unity Catalog
- Bekendheid met SQL- en datawarehouse-concepten
- Kennis van de grondbeginselen van Delta Lake