Introducción

Los ingenieros de datos se enfrentan a un desafío fundamental: obtener datos de diversos orígenes en una plataforma de análisis unificada de forma eficaz y confiable. Tanto si su organización trabaja con archivos por lotes en el almacenamiento en la nube, eventos de streaming de Kafka o datos transaccionales de bases de datos operativas, necesita métodos de ingesta que controle cada escenario al tiempo que mantiene la calidad y la gobernanza de los datos. Unity Catalog en Azure Databricks proporciona la base para este enfoque unificado, lo que ofrece gobernanza centralizada para todos los datos ingeridos.

Azure Databricks ofrece varias técnicas de ingesta, cada una optimizada para requisitos y patrones de datos específicos. Lakeflow Connect proporciona conectores administrados para orígenes empresariales comunes como SQL Server y Salesforce, lo que elimina la necesidad de código de extracción personalizado. Los cuadernos proporcionan control total sobre la lógica de ingesta mediante Python, SQL o Scala. Comandos SQL como COPY INTO y CREATE TABLE AS SELECT ofrecen enfoques declarativos para la ingesta basada en archivos. Para cargas de trabajo en tiempo real, Spark Structured Streaming y Auto Loader procesan los datos continuamente a medida que llegan, con garantías de procesamiento exactamente una vez.

Comprender cuándo aplicar cada técnica le permite crear canalizaciones de datos sólidas que se escalan con su organización. Aprenderá a configurar conectores administrados para orígenes de datos empresariales, escribir código de cuaderno para escenarios de ingesta personalizados, usar comandos SQL para cargas por lotes basadas en archivos, procesar fuentes de captura de datos de cambios (CDC) de forma incremental, transmitir datos de buses de mensajes como Kafka y Event Hubs, configurar Auto Loader para la detección automática de archivos y orquestar flujos de trabajo de ingesta con canalizaciones de Lakeflow.

Al final de este módulo, estará equipado para elegir e implementar el enfoque de ingesta adecuado para cualquier origen de datos, lo que garantiza que los datos llegan a tablas del catálogo de Unity con una gobernanza adecuada y un rendimiento óptimo.