Implementare e gestire vincoli di qualità dei dati con Azure Databricks
Intermedio
Data engineer
Azure Databricks
Questo modulo illustra le strategie per mantenere la qualità dei dati elevata in Azure Databricks. Si apprenderà come implementare controlli di convalida, applicare schemi, gestire la deriva dello schema e usare le aspettative della pipeline per garantire l'integrità dei dati in tutte le pipeline di dati.
Obiettivi di apprendimento
Alla fine di questo modulo, sarai in grado di:
- Implementare i controlli di convalida per nullabilità, cardinalità e vincoli di intervallo
- Implementare controlli dei tipi di dati usando l'imposizione dello schema e il cast esplicito
- Applicare lo schema e gestire la deriva dello schema usando Il caricatore automatico e Delta Lake
- Gestire la qualità dei dati usando le aspettative della pipeline nelle pipeline di Lakeflow
Prerequisiti
È necessario completare i prerequisiti seguenti:
- Conoscenza di base delle aree di lavoro di Azure Databricks e del catalogo Unity
- Familiarità con i concetti relativi a SQL e ingegneria dei dati