Gegevens opnemen in Unity Catalog
Gevorderd
Data-engineer
Azure Databricks
Gegevensopname is een fundamentele mogelijkheid voor elk gegevensplatform. In deze module wordt de uitgebreide set technieken verkend die beschikbaar zijn in Azure Databricks voor het laden van gegevens in Unity Catalog-tabellen. U leert hoe u beheerde connectors gebruikt met Lakeflow Connect, aangepaste ingestiecode schrijft in notebooks, SQL-opdrachten toepast voor het laden van batchbestanden, change data capture-(CDC-)feeds verwerkt, streamingingestie van berichtenbussen configureert, Auto Loader instelt voor automatische bestandsdetectie en ingestiewerkstromen organiseert met Lakeflow-pijplijnen.
Leerdoelen
Aan het einde van deze module kunt u het volgende doen:
- Lakeflow Connect configureren voor het opnemen van gegevens uit externe bronnen met behulp van beheerde connectors
- Batch- en streaminggegevens opnemen met behulp van notebooks met DataFrames en Gestructureerd streamen
- Gebruik SQL-opdrachten zoals COPY INTO en CREATE TABLE AS SELECT voor het inlezen van bestanden.
- Invoer voor het vastleggen van wijzigingengegevens verwerken met de AUTO CDC-API
- Spark Structured Streaming configureren voor realtime gegevensopname vanuit Kafka en Event Hubs
- Automatisch laadprogramma instellen om nieuwe bestanden automatisch te detecteren en te verwerken met schemaontwikkeling
- Werkstromen voor gegevensinname organiseren met behulp van Lakeflow-pijplijnen
Vereisten
De volgende vereisten moeten worden voltooid:
- Basiskennis van Concepten van Azure Databricks en Unity Catalog
- Bekendheid met programmeren met SQL en Python
- Kennis van data engineering-concepten zoals batchverwerking en streaming