Pijplijnen bouwen

Bouw Lakeflow-pijplijnen door gegevens te laden en transformeren, gegevenskwaliteitscontroles toe te passen en resultaten naar uw doeltabellen te schrijven. In de volgende onderwerpen worden de taken behandeld die betrokken zijn bij het bouwen en uitvoeren van pijplijnen.

Zie Wat zijn Lakeflow-pijplijnen voor meer informatie over de declaratieve concepten achter pijplijnen (gegevenssets, stromen en de pijplijngrafiek). Zie zelfstudie: Een ETL-pijplijn bouwen met behulp van change data capture voor stapsgewijze instructies.

Topic Description
Ontwikkelen in de Lakeflow Pipelines Editor Pijplijnen ontwerpen, uitvoeren en fouten opsporen in de editor, met een pijplijngrafiek, gegevensvoorbeelden en selectieve uitvoering.
Genie Code gebruiken voor pijplijnontwikkeling Genereer, bewerk en foutopsporingspijplijncode vanaf één prompt met de modus Genie Code Agent in de editor.
Identiteiten en bevoegdheden beheren Bepaal de identiteit waarmee een pijplijn wordt uitgevoerd en wie pijplijnen en hun uitvoer kan maken, uitvoeren, vernieuwen en weergeven.
Gegevens laden Neem data op in uw pipeline vanuit cloudobjectopslag en streaming-berichtbussen.
Gegevens transformeren Pas transformaties, joins en aggregaties toe om afgeleide gegevenssets te bouwen.
Volledig vernieuwen voor streamingtabellen Alle brongegevens opnieuw verwerken om een streamingtabel opnieuw te bouwen.
Gegevenskwaliteit Valideer records met verwachtingen en bepaal wat er gebeurt wanneer een record mislukt.
Gegevenssets schrijven Schrijf pijplijnresultaten naar sinks, zoals Apache Kafka en Azure Event Hubs, en gebruik stromen om naar streamingdoelen te schrijven.

Aanvullende bronnen

  • Last updated on