Overzicht

In deze module hebt u de uitgebreide set technieken voor gegevensopname verkend die beschikbaar zijn in Azure Databricks voor het laden van gegevens in Unity Catalog. Van beheerde connectors tot aangepaste notebookcode, van declaratieve SQL-opdrachten tot realtime streaming, waarbij elke benadering betrekking heeft op specifieke gegevenspatronen en organisatievereisten.

U hebt geleerd hoe Lakeflow Connect de opname van bedrijfsbronnen vereenvoudigt door beheerde connectors te voorzien van ingebouwde wijzigingsgegevensopname en SCD-ondersteuning. U hebt notebook-gebaseerde opname verkend met behulp van DataFrames en de Spark Structured Streaming API voor volledige besturing over uw opnamelogica. U hebt ontdekt hoe SQL-opdrachten zoals COPY INTO en CREATE TABLE AS SELECT declaratieve mogelijkheden bieden voor batchverwerking op basis van bestanden met automatische bestandstracering.

Voor incrementele verwerking hebt u CDC-stromen geïmplementeerd met behulp van de AUTO CDC-API om op efficiënte wijze invoegingen, updates en verwijderingen toe te passen op doeltabellen. U hebt Spark Structured Streaming geconfigureerd om gebeurtenissen van Kafka en Event Hubs in realtime te verwerken met exactly-once garanties. U stelt Automatisch laadprogramma in om automatisch nieuwe bestanden te detecteren en op te nemen met schemadeductie- en evolutiemogelijkheden. Ten slotte hebt u Lakeflow pipelines gebruikt om end-to-end ingestieworkflows te organiseren met automatische orkestratie en foutafhandeling.

Wanneer u gegevenspijplijnen voor uw organisatie bouwt, moet u overwegen welke opnamemethode het beste overeenkomt met de kenmerken van elk bronsysteem. Beheerde connectors gebruiken wanneer deze beschikbaar zijn voor algemene bedrijfsbronnen. Kies notebooks voor complexe transformaties of bronnen waarvoor aangepaste logica is vereist. Automatisch laden toepassen voor streaming op basis van bestanden met automatische schemaafhandeling. Orkestreer uw ingestiestromen met Lakeflow-pijplijnen om te profiteren van ingebouwde betrouwbaarheidsfuncties. Met deze technieken kunt u robuuste opnamepijplijnen bouwen die gegevens van hoge kwaliteit leveren aan uw Lakehouse op een efficiënte en betrouwbare manier.