Générer des pipelines

Générez des pipelines Lakeflow en chargeant et en transformant des données, en appliquant des vérifications de qualité des données et en écrivant des résultats dans vos tables cibles. Les rubriques suivantes couvrent les tâches impliquées dans la création et l’exécution de pipelines.

Pour découvrir les concepts déclaratifs derrière des pipelines (jeux de données, flux et graphique de pipeline), consultez Qu’est-ce que les pipelines Lakeflow ?. Pour obtenir une procédure pas à pas, consultez tutoriel : Créer un pipeline ETL à l’aide de la capture de données modifiées.

Sujet Description
Développer dans l’éditeur Lakeflow Pipelines Créez, exécutez et déboguez des pipelines dans l’éditeur, avec un graphique de pipeline, des aperçus de données et une exécution sélective.
Utiliser Genie Code pour le développement de pipelines Générez, modifiez et déboguez du code de pipeline à partir d’une invite unique avec le mode Agent de code Genie dans l’éditeur.
Gérer les identités et les privilèges Contrôlez l’identité qui exécute un pipeline et qui peut créer, exécuter, actualiser et afficher des pipelines et leur sortie.
Chargement des données Importez des données dans votre pipeline depuis un stockage d’objets dans le cloud et des bus de messages en continu.
Transformer des données Appliquez des transformations, des jointures et des agrégations pour générer des jeux de données dérivés.
Actualisation complète des tables de diffusion en continu Retraiter toutes les données source pour reconstruire une table de streaming.
Qualité des données Validez les enregistrements avec des attentes et contrôlez ce qui se passe en cas d’échec d’un enregistrement.
Écrire des jeux de données Écrivez les résultats du pipeline vers des destinations telles qu’Apache Kafka et Azure Event Hubs, et utilisez des flux pour écrire vers des cibles de streaming.

Ressources additionnelles

  • Last updated on