Présentation

Les ingénieurs données sont confrontés à un défi fondamental : obtenir des données provenant de diverses sources dans une plateforme d’analytique unifiée de manière efficace et fiable. Que votre organisation fonctionne avec des fichiers batch dans le stockage cloud, des événements de streaming à partir de Kafka ou des données transactionnelles à partir de bases de données opérationnelles, vous avez besoin de méthodes d’ingestion qui gèrent chaque scénario tout en conservant la qualité et la gouvernance des données. Unity Catalog dans Azure Databricks fournit la base de cette approche unifiée, offrant une gouvernance centralisée pour toutes vos données ingérées.

Azure Databricks offre plusieurs techniques d’ingestion, chacune optimisée pour des modèles de données et des exigences spécifiques. Lakeflow Connect fournit des connecteurs managés pour les sources d’entreprise courantes telles que SQL Server et Salesforce, ce qui élimine la nécessité de code d’extraction personnalisé. Les notebooks vous donnent un contrôle total sur la logique d’ingestion à l’aide de Python, SQL ou Scala. Les commandes SQL telles COPY INTO que et CREATE TABLE AS SELECT offrent des approches déclaratives pour l’ingestion basée sur des fichiers. Pour les charges de travail en temps réel, Spark Structured Streaming et le chargeur automatique traitent en continu les données à mesure qu’elles arrivent, avec des garanties de traitement exactement une fois.

Comprendre quand appliquer chaque technique vous permet de créer des pipelines de données robustes qui évoluent en même temps que votre organisation. Vous allez apprendre à configurer des connecteurs managés pour les sources de données d’entreprise, écrire du code de notebook pour des scénarios d’ingestion personnalisés, utiliser des commandes SQL pour les chargements par lots basés sur des fichiers, traiter les flux de capture de données de modification de manière incrémentielle, diffuser des données à partir de bus de messages tels que Kafka et Event Hubs, configurer Auto Loader pour la détection automatique des fichiers et orchestrer des workflows d’ingestion avec des pipelines Lakeflow.

À la fin de ce module, vous serez équipé pour choisir et implémenter la bonne approche d’ingestion pour n’importe quelle source de données, en garantissant que vos données atterriront dans des tables de catalogue Unity avec une gouvernance appropriée et des performances optimales.