Sammanfattning

I den här modulen har du utforskat den omfattande uppsättningen datainmatningstekniker som är tillgängliga i Azure Databricks för att läsa in data i Unity Catalog. Från hanterade anslutningsappar till anpassad notebook-kod, från deklarativa SQL-kommandon till realtidsströmning, hanterar varje metod specifika datamönster och organisationskrav.

Du har lärt dig hur Lakeflow Connect förenklar inmatning från företagskällor genom att tillhandahålla hanterade anslutningsappar med inbyggt stöd för insamling av ändringsdata och SCD. Du har utforskat notebook-baserad inmatning med hjälp av DataFrames och Spark Structured Streaming-API:et för fullständig kontroll över inmatningslogik. Du har upptäckt hur SQL-kommandon som COPY INTO och CREATE TABLE AS SELECT tillhandahåller deklarativa alternativ för filbaserad batch-inläsning med automatisk filspårning.

För inkrementell bearbetning implementerade du CDC-flöden med API:et AUTO CDC för att effektivt tillämpa infogningar, uppdateringar och borttagningar i måltabeller. Du har konfigurerat Spark Structured Streaming för att bearbeta händelser från Kafka och Event Hubs i realtid med exakt-en-gång-garantier. Du konfigurerar automatisk inläsning för att automatiskt identifiera och mata in nya filer med schemainferens och utvecklingsmöjligheter. Slutligen använde du Lakeflow-pipelines för att samordna ingestionsarbetsflöden från början till slut med automatisk orkestrering och felhantering.

När du skapar datapipelines för din organisation bör du överväga vilken inmatningsmetod som bäst matchar varje källsystems egenskaper. Använd hanterade kopplingar när de är tillgängliga för vanliga företagsdatakällor. Välj notebook-filer för komplexa omvandlingar eller källor som kräver anpassad logik. Använd Automatisk inläsning för filbaserad direktuppspelning med automatisk schemahantering. Samordna dina inläsningsflöden med Lakeflow-pipelines för att dra nytta av inbyggda tillförlitlighetsfunktioner. Med dessa tekniker kan du skapa robusta inmatningspipelines som levererar data av hög kvalitet till ditt lakehouse effektivt och tillförlitligt.