Implémenter et gérer des contraintes de qualité des données avec Azure Databricks
Intermédiaire
Ingénieur Data
Azure Databricks
Ce module explore des stratégies pour maintenir une qualité de données élevée dans Azure Databricks. Vous apprendrez à implémenter des vérifications de validation, à appliquer des schémas, à gérer la dérive de schéma et à utiliser des attentes de pipeline afin de garantir l'intégrité des données tout au long de vos pipelines de données.
Objectifs d’apprentissage
À la fin de ce module, vous serez en mesure de :
- Implémenter des vérifications de validation pour la nullabilité, la cardinalité et les contraintes de plage
- Implémenter des vérifications de type de données à l’aide de l’application stricte du schéma et d’une conversion explicite
- Appliquer le schéma et gérer la dérive de schéma à l’aide d’Auto Loader et de Delta Lake
- Gérer la qualité des données à l’aide des attentes de pipeline dans les pipelines Lakeflow
Prérequis
Les prérequis suivants doivent être remplis :
- Compréhension de base des espaces de travail Azure Databricks et d'Unity Catalog
- Familiarité avec SQL et les concepts d'ingénierie de données