Importera data till Unity Catalog
Medel
Datatekniker
Azure Databricks
Datainmatning är en grundläggande funktion för alla dataplattformar. Den här modulen utforskar den omfattande uppsättningen tekniker som är tillgängliga i Azure Databricks för att läsa in data i Unity Catalog-tabeller. Du får lära dig hur du använder hanterade anslutningar med Lakeflow Connect, skriver anpassad kod för datainhämtning i notebook-filer, tillämpar SQL-kommandon för batchinläsning av filer, bearbetar flöden för ändringsdatafångst, konfigurerar strömmande datainhämtning från meddelandebussar, konfigurerar Auto Loader för automatisk filidentifiering och samordnar arbetsflöden för datainhämtning med Lakeflow-pipelines.
Utbildningsmål
I slutet av den här modulen kommer du att kunna:
- Konfigurera Lakeflow Connect för att mata in data från externa källor med hjälp av hanterade anslutningsappar
- Mata in batch- och strömmande data med notebook-filer med DataFrames och strukturerad direktuppspelning
- Använda SQL-kommandon som COPY INTO och CREATE TABLE AS SELECT för filbaserad inmatning
- Bearbeta ändringsdatafångstflöden med AUTO CDC API:et
- Konfigurera Spark Structured Streaming för datainmatning i realtid från Kafka och Event Hubs
- Konfigurera Auto Loader för att automatiskt identifiera och bearbeta nya filer med schemaändringar
- Samordna arbetsflöden för datainhämtning med Lakeflow-pipelines
Förutsättningar
Följande krav bör vara uppfyllda:
- Grundläggande förståelse för begreppen Azure Databricks och Unity Catalog
- Kunskaper om SQL- och Python-programmering
- Kunskaper om datatekniska begrepp som batchbearbetning och strömning