Surveiller les exécutions de pipeline dans Fabric Data Factory

Cet article explique comment surveiller les exécutions de votre pipeline. Que vous deviez vérifier la façon dont les choses vont ou résoudre un problème spécifique, vous pouvez suivre la progression, repérer les problèmes au début et maintenir l’exécution fluide des flux de travail. La supervision vous aide à détecter les problèmes au début et à suivre vos flux de travail.

Surveiller les exécutions de pipeline

  1. Pour surveiller les exécutions de votre pipeline, passez la souris sur votre pipeline dans votre espace de travail. Le bouton Autres options (...) apparaît à droite du nom de votre pipeline.

    Capture d’écran montrant où trouver d’autres options de pipeline.

  2. Sélectionnez Autres options (...) pour afficher la liste des options. Sélectionnez ensuite Afficher l’historique des exécutions. Cette action ouvre un menu volant sur le côté droit de votre écran comportant toutes vos exécutions et tous vos états d’exécution récents.

    Capture d’écran montrant où sélectionner l’option Afficher l’historique des exécutions.

    Capture d’écran montrant une liste d’exécutions récentes.

  3. Sélectionnez Aller au moniteur dans la capture d’écran précédente pour voir plus de détails et filtrer les résultats. Utilisez le filtre pour rechercher des exécutions de pipeline spécifiques en fonction de plusieurs critères.

    Capture d’écran des options de filtre.

  4. Sélectionnez l’une de vos exécutions de pipeline pour afficher des informations détaillées. Vous pouvez afficher l’apparence de votre pipeline et afficher d’autres propriétés telles que l’ID d’exécution ou les erreurs si l’exécution de votre pipeline a échoué.

    Capture d’écran des détails d’une exécution récente.

  5. Si vous avez plus de 2 000 exécutions d’activité dans vos pipelines, sélectionnez Charger plus pour afficher plus de résultats dans la même page de surveillance.

    Capture d’écran des exécutions d’activité avec une zone de texte « Charger plus » mise en surbrillance.

    Capture d’écran de tous les détails de l’exécution de l’activité chargés.

  6. Utilisez Filtre pour filtrer par état de l’activité ou options de colonne pour modifier les colonnes qui apparaissent dans l’affichage de surveillance.

    Capture d’écran des options de filtrage des exécutions d’activité.

    Capture d’écran des options de colonne.

    Vous pouvez également rechercher un nom d’activité, un type d’activité ou un ID d’exécution d’activité à l’aide du champ Filtrer par mots clés.

    Capture d’écran du champ de filtre par mots clés.

    Capture d’écran des résultats du filtrage par mots clés.

  7. Pour exporter vos données de surveillance, sélectionnez Exporter au format CSV.

    Capture d’écran de l’option « Exporter au format .csv ».

  8. Pour plus d’informations sur l’entrée et la sortie de votre pipeline, sélectionnez les liens d’entrée ou de sortie à droite de la ligne appropriée sous Exécutions d’activité.

  9. Sélectionnez Mettre à jour le pipeline pour apporter des modifications à votre pipeline à partir de cet écran. Cette action vous ramène au canevas du pipeline.

  10. Sélectionnez Réexécuter pour relancer votre pipeline. Choisissez de réexécuter l’intégralité du pipeline ou de réexécuter uniquement à partir de l’activité ayant échoué.

    Capture d’écran montrant la reprise de l’activité échouée.

  11. Pour afficher les détails des performances, sélectionnez une activité dans la liste des exécutions d’activité. Le volet détails des performances s’ouvre.

    Capture d’écran des détails de la copie de données.

    Pour plus d’informations, consultez la répartition de la durée et Avancé.

    Capture d’écran des informations supplémentaires pour l’exécution de copie des données.

Vue du Gantt

La vue Gantt offre un moyen clair et visuel de suivre les exécutions du pipeline au fil du temps. Chaque exécution apparaît sous la forme d’une barre, regroupée par nom de pipeline, et la longueur de la barre indique la durée de l’exécution. Utilisez cette vue pour repérer les modèles, comparer les durées et identifier les retards, chevauchements ou anomalies en un clin d’œil.

Capture d’écran montrant l’emplacement où passer d’un affichage à un autre.

La longueur de la barre représente la durée de l’exécution du pipeline. Vous pouvez sélectionner la barre pour voir d’autres informations.

Capture d’écran de l’affichage de Gantt montrant des longueurs de barre différentes.

Capture d’écran des informations sur l’exécution du pipeline depuis la vue Gantt.

Supervision de l’espace de travail pour les pipelines

La surveillance de l’espace de travail offre une visibilité au niveau du journal pour tous les éléments d’un espace de travail, y compris les pipelines.

  1. Pour activer la surveillance de l’espace de travail, accédez aux paramètres de l’espace de travail dans votre espace de travail Fabric, puis sélectionnez Surveillance.

  2. Ajoutez un Eventhouse de surveillance et activez Journaliser l’activité de l’espace de travail. Fabric crée une base de données KQL (Kusto Query Language) dans l’Eventhouse de votre espace de travail pour stocker les journaux.

    Capture d’écran montrant comment activer/désactiver l’analyse de l’espace de travail.

  3. Accédez à la base de données KQL qui Fabric créée. Vous pouvez le trouver via le lien de base de données de surveillance dans les paramètres de surveillance ou directement dans votre espace de travail.

    Capture d’écran des éléments générés à partir de la surveillance de l’espace de travail.

  4. Dans la base de données KQL, la table ItemJobEventLogs capture les événements au niveau du pipeline qui se produisent dans votre espace de travail (également appelé supervision L1). Les journaux incluent le nom du pipeline, l’état d’exécution, les horodatages et les diagnostics système.

    Capture d’écran de la table de surveillance de l’espace de travail de pipeline.

Utilisez des requêtes KQL dans l’eventhouse de surveillance pour analyser :

  • Tendances de réussite et d’échec
  • Mesures de performances
  • Détails de l’erreur pour la résolution des problèmes

Surveiller l’utilisation des capacités

Les administrateurs de capacité Fabric peuvent utiliser l’application Microsoft Fabric Capacity Metrics pour consulter les ressources de capacité. Cette application montre combien d’utilisation du processeur, de temps de traitement et de pipelines de mémoire, de flux de données et d’autres éléments consomment dans les espaces de travail prenant en charge la capacité. Utilisez-le pour identifier les causes de surcharge, les pics de demande et les éléments les plus gourmands en ressources.

Contenu connexe

  • Last updated on