Resumo
Ao longo deste módulo, você explorou o conjunto abrangente de técnicas de ingestão de dados disponíveis no Azure Databricks para carregar dados no Catálogo do Unity. Desde conectores gerenciados até código de notebook personalizado, desde comandos SQL declarativos até streaming em tempo real, cada abordagem aborda padrões de dados específicos e requisitos organizacionais.
Você aprendeu como o Lakeflow Connect simplifica a ingestão de fontes empresariais, fornecendo conectores gerenciados com a captura de dados de alteração interna e suporte do SCD. Você explorou a ingestão baseada em notebook usando o DataFrames e a API de Streaming Estruturado do Spark para total controle da sua lógica de ingestão. Você descobriu como comandos SQL como COPY INTO e CREATE TABLE AS SELECT fornecem opções declarativas para cargas em lote baseadas em arquivos com rastreamento automático de arquivos.
Para processamento incremental, você implementou fluxos CDC usando a API AUTO CDC para aplicar com eficiência inserções, atualizações e exclusões a tabelas de destino. Você configurou o Streaming Estruturado do Spark para processar eventos do Kafka e de Hubs de Eventos em tempo real com garantias de exatamente uma vez. Você configura o Carregador Automático para detectar e ingerir automaticamente novos arquivos com funcionalidades de inferência e evolução de esquema. Por fim, você usou pipelines do Lakeflow para orquestrar fluxos de trabalho de ingestão de ponta a ponta com orquestração automática e tratamento de erros.
À medida que você cria pipelines de dados para sua organização, considere qual método de ingestão é mais adequado às características de cada sistema de origem. Use conectores gerenciados quando disponível para fontes empresariais comuns. Escolha notebooks para transformações complexas ou fontes que precisem de lógica personalizada. Aplique o Carregador Automático para streaming baseado em arquivo com tratamento automático de esquema. Orquestre seus fluxos de ingestão com pipelines do Lakeflow para se beneficiar de recursos internos de confiabilidade. Com essas técnicas, você pode criar pipelines de ingestão avançados que ofereçam dados de alta qualidade ao lakehouse de forma eficiente e confiável.