Introdução

Os engenheiros de dados enfrentam um desafio fundamental: obter dados de diversas fontes em uma plataforma de análise unificada de forma eficiente e confiável. Se sua organização trabalha com arquivos em lotes no armazenamento em nuvem, eventos de streaming do Kafka ou dados transacionais de bancos de dados operacionais, você precisa de métodos de ingestão que lidam com cada cenário, mantendo a qualidade e a governança dos dados. O Catálogo do Unity no Azure Databricks fornece a base para essa abordagem unificada, oferecendo governança centralizada para todos os dados ingeridos.

O Azure Databricks oferece várias técnicas de ingestão, cada uma otimizada para padrões e requisitos de dados específicos. O Lakeflow Connect fornece conectores gerenciados para fontes empresariais comuns, como SQL Server e Salesforce, eliminando a necessidade de código de extração personalizado. Os notebooks oferecem controle total sobre a lógica de ingestão usando Python, SQL ou Scala. Os comandos SQL como COPY INTO e CREATE TABLE AS SELECT oferecem abordagens declarativas para ingestão baseada em arquivo. Para cargas de trabalho em tempo real, o Spark Structured Streaming e o Auto Loader processam dados continuamente à medida que chegam, com garantias de processamento exatamente uma vez.

Entender quando aplicar cada técnica permite criar pipelines de dados robustos que escalam com a sua organização. Você aprenderá a configurar conectores gerenciados para fontes de dados corporativas, escrever código de notebook para cenários de ingestão personalizados, usar comandos SQL para cargas em lotes baseadas em arquivo, processar feeds de captura de dados de alteração incrementalmente, transmitir dados de barramentos de mensagens como Kafka e Event Hubs, configurar o Auto Loader para detecção automática de arquivos e orquestrar fluxos de trabalho de ingestão com pipelines do Lakeflow.

Ao final deste módulo, você estará equipado para escolher e implementar a abordagem de ingestão correta para qualquer fonte de dados, garantindo que seus dados cheguem às tabelas do Catálogo do Unity com governança adequada e desempenho ideal.