Skapa pipelines

Skapa Lakeflow-pipelines genom att läsa in och transformera data, tillämpa datakvalitetskontroller och skriva resultat till dina måltabeller. Följande avsnitt beskriver de uppgifter som ingår i att skapa och köra pipelines.

Information om deklarativa begrepp bakom pipelines (datauppsättningar, flöden och pipelinediagram) finns i Vad är Lakeflow-pipelines?. En stegvis genomgång finns i Självstudie: Skapa en ETL-pipeline med hjälp av insamling av ändringsdata.

Ämne Description
Utveckla i Lakeflow Pipelines-redigeraren Skapa, köra och felsöka pipelines i redigeraren med en pipelinegraf, dataförhandsgranskningar och selektiv körning.
Använd Genie Code för pipelineutveckling Generera, redigera och felsöka pipelinekod från en enda prompt med Genie Code Agent-läget i redigeraren.
Hantera identiteter och privilegier Kontrollera identiteten som kör en pipeline och vem som kan skapa, köra, uppdatera och visa pipelines och deras utdata.
Ladda data Importera data till din pipeline från molnbaserad objektlagring och strömmande meddelandebussar.
Transformera data Använd transformeringar, kopplingar och aggregeringar för att skapa härledda datamängder.
Fullständig uppdatering för strömmande tabeller Bearbeta alla källdata igen för att återskapa en strömningstabell.
Datakvalitet Verifiera poster med förväntningar och kontrollera vad som händer när en post misslyckas.
Skriv datauppsättningar Skriv pipelineresultat till mottagare som Apache Kafka och Azure Event Hubs och använd flöden för att skriva till strömmande mål.

Ytterligare resurser

  • Last updated on