Résumé

Tout au long de ce module, vous avez exploré l’ensemble complet de techniques d’ingestion de données disponibles dans Azure Databricks pour le chargement de données dans Unity Catalog. Des connecteurs managés au code de notebook personnalisé, des commandes SQL déclaratives au streaming en temps réel, chaque approche répond aux modèles de données spécifiques et aux exigences organisationnelles.

Vous avez appris comment Lakeflow Connect simplifie l'ingestion à partir de sources d'entreprise en fournissant des connecteurs managés avec une capture des données modifiées et une prise en charge SCD intégrées. Vous avez exploré l’ingestion basée sur des notebooks à l’aide de DataFrames et de l’API Spark Structured Streaming pour un contrôle total sur votre logique d’ingestion. Vous avez découvert comment les commandes SQL comme COPY INTO et CREATE TABLE AS SELECT fournissent des options déclaratives pour les chargements en lot basés sur des fichiers avec suivi automatique des fichiers.

Pour le traitement incrémentiel, vous avez implémenté des flux CDC à l'aide de l'API AUTO CDC pour appliquer efficacement des insertions, des mises à jour et des suppressions aux tables de destination. Vous avez configuré Spark Structured Streaming pour traiter des événements provenant de Kafka et d'Event Hubs en temps réel avec des garanties d'exactement une fois. Vous configurez le chargeur automatique pour détecter et ingérer automatiquement de nouveaux fichiers avec des fonctionnalités d’inférence et d’évolution de schéma. Enfin, vous avez utilisé des pipelines Lakeflow pour orchestrer des flux de travail d’ingestion de bout en bout avec l’orchestration automatique et la gestion des erreurs.

Lorsque vous créez des pipelines de données pour votre organisation, envisagez la méthode d’ingestion qui correspond le mieux aux caractéristiques de chaque système source. Utilisez des connecteurs managés lorsqu’ils sont disponibles pour les sources d’entreprise courantes. Choisissez des blocs-notes pour les transformations ou sources complexes qui nécessitent une logique personnalisée. Appliquez le chargeur automatique pour la diffusion en continu basée sur des fichiers avec la gestion automatique des schémas. Orchestrez vos flux d’ingestion avec des pipelines Lakeflow pour tirer parti des fonctionnalités de fiabilité intégrées. Avec ces techniques, vous pouvez créer des pipelines d’ingestion robustes qui fournissent des données de haute qualité à votre lakehouse de manière efficace et fiable.