Guide de l’utilisateur de traçabilité des données pour Data Catalog classique

Cet article fournit une vue d’ensemble des fonctionnalités de traçabilité des données dans le catalogue de données classique de Microsoft Purview.

Pour afficher la traçabilité des données dans Unified Catalog, vous devez d’abord rechercher un produit de données, puis afficher les détails des ressources de données.

Arrière-plan

L’une des fonctionnalités de plateforme de Microsoft Purview est la possibilité d’afficher la traçabilité entre les jeux de données créés par les processus de données. Des systèmes tels que Data Factory, Data Share et Power BI capturent la traçabilité des données à mesure qu’elles se déplacent. Les rapports de traçabilité personnalisés sont également pris en charge via les hooks Atlas et l’API REST.

Collection de traçabilité

Les métadonnées collectées dans Microsoft Purview à partir des systèmes de données d’entreprise sont assemblées pour montrer une traçabilité des données de bout en bout. Les systèmes de données qui collectent la traçabilité dans Microsoft Purview sont classés en trois types :

• Systèmes de traitement de données
• Systèmes de stockage de données
• Systèmes d’analyse de données et de création de rapports

Chaque système prend en charge un niveau différent d’étendue de traçabilité. Consultez les sections ci-dessous, ou l’article de traçabilité individuel de votre système, pour confirmer l’étendue de la traçabilité actuellement disponible.

Limitations connues

• Les vues de base de données utilisées comme source d’activité de processus (Azure Data Factory, Synapse Pipelines, Azure SQL Database, Azure Data Share) sont actuellement capturées en tant qu’objets de table de base de données dans Microsoft Purview. Si la base de données est également analysée, les ressources View sont découvertes séparément dans Microsoft Purview. Dans ce scénario, deux ressources portant le même nom ont été capturées dans Microsoft Purview, l’une sous forme de table avec traçabilité des données et l’autre sous forme de vue.
• Si une procédure stockée contient des instructions drop ou create, elles ne sont actuellement pas capturées dans la traçabilité.

Systèmes de traitement de données

Les outils d’intégration de données et ETL peuvent envoyer la traçabilité dans Microsoft Purview au moment de l’exécution. Des outils tels que Data Factory, Data Share, Synapse, Azure Databricks, etc., appartiennent à cette catégorie de systèmes de traitement des données. Les systèmes de traitement des données référencent les jeux de données comme source provenant de différentes bases de données et solutions de stockage pour créer des jeux de données cibles. La liste des systèmes de traitement des données actuellement intégrés à Microsoft Purview pour la traçabilité est présentée dans le tableau ci-dessous.

Systèmes de stockage de données

Les bases de données & les solutions de stockage telles qu’Oracle, Teradata et SAP disposent de moteurs de requête pour transformer les données à l’aide d’un langage de script. Les informations de traçabilité des données provenant des vues/procédures stockées/etc. sont collectées dans Microsoft Purview et assemblées avec la traçabilité d’autres systèmes. La traçabilité est prise en charge pour les sources de données suivantes via l’analyse des données Microsoft Purview. Pour en savoir plus sur les scénarios de traçabilité pris en charge, consultez l’article correspondant.

Systèmes d’analyse de données et de création de rapports

Les systèmes d’analyse de données et de création de rapports tels qu’Azure Machine Learning et Power BI signalent la traçabilité dans Microsoft Purview. Ces systèmes utilisent les ensembles de données des systèmes de stockage et traitent leur méta-modèle pour créer des tableaux de bord BI, des expériences ML, etc.

Prise en main de la traçabilité

La traçabilité dans Microsoft Purview inclut les jeux de données et les processus. Les jeux de données sont également appelés nœuds, tandis que les processus peuvent être également appelés arêtes :

• Jeu de données (nœud) : jeu de données (structuré ou non structuré) fourni en tant qu’entrée à un processus. Par exemple, une table SQL, un objet blob Azure et des fichiers (tels que .csv et .xml) sont tous considérés comme des jeux de données. Dans la section Traçabilité de Microsoft Purview, les jeux de données sont représentés par des zones rectangulaires.

• Processus (Edge) : une activité ou une transformation effectuée sur un ensemble de données est appelée processus. Par exemple, l’activité de copie ADF, l’instantané de partage de données, etc. Dans la section Traçabilité de Microsoft Purview, les processus sont représentés par des zones à bords arrondis.

Pour accéder aux informations de traçabilité d’une ressource dans Microsoft Purview, procédez comme suit :

1. Ouvrez le portail de gouvernance Microsoft Purview classique en :

   • Accédez directement à votre compte Microsoft Purview et sélectionnez-le https://web.purview.azure.com .
   • Ouverture du portail Azure, recherche et sélection du compte Microsoft Purview. Sélection du bouton du portail de gouvernance Microsoft Purview .

2. Sur la page d’accueil du portail de gouvernance Microsoft Purview, recherchez le nom d’un jeu de données ou le nom du processus, comme Copie ADF ou Activité Data Flow. Appuyez ensuite sur Entrée.

3. Dans les résultats de la recherche, sélectionnez la ressource et sélectionnez son onglet Traçabilité .

   

Traçabilité au niveau des actifs

Microsoft Purview prend en charge la traçabilité au niveau des ressources pour les jeux de données et les processus. Pour afficher la traçabilité au niveau de la ressource, accédez à l’onglet Traçabilité de la ressource actuelle dans le catalogue. Sélectionnez le nœud de ressource de jeu de données actuel. Par défaut, la liste des colonnes appartenant aux données apparaît dans le volet gauche.

Traçabilité manuelle

La traçabilité des données dans Microsoft Purview est automatisée pour de nombreuses ressources dans les environnements locaux, multicloud et SaaS. Bien que nous continuions à ajouter d’autres sources automatisées, la traçabilité manuelle vous permet de documenter les métadonnées de traçabilité pour les sources pour lesquelles l’automatisation n’est pas encore prise en charge, sans utiliser de code.

Pour ajouter une traçabilité manuelle pour l’une de vos ressources, procédez comme suit :

1. Recherchez votre ressource dans le catalogue de données classique et sélectionnez-la pour afficher les détails.

2. Sélectionnez Modifier, accédez à l’onglet Traçabilité , puis sélectionnez Ajouter une traçabilité manuelle dans le panneau inférieur.

   

3. Pour configurer la traçabilité des ressources :

   1. Sélectionnez le menu déroulant des ressources pour trouver la ressource dans la liste suggérée ou Afficher plus pour rechercher dans le catalogue complet. Sélectionnez la ressource que vous souhaitez lier.
   2. Sélectionnez l’icône d’échange pour configurer la direction de la relation comme Produit (pour la traçabilité en aval) ou Consomme (pour la traçabilité en amont).
   3. Si vous souhaitez supprimer une traçabilité, sélectionnez l’icône de corbeille.

   

4. Lorsque vous ajoutez une traçabilité entre deux ressources de données, vous pouvez également configurer la traçabilité au niveau des colonnes. Sélectionnez l’icône Développer au début de la ligne, sélectionnez les colonnes en amont et en aval dans les listes déroulantes correspondantes pour configurer le mappage des colonnes. Sélectionnez l’icône plus pour ajouter une traçabilité de colonne supplémentaire ; Sélectionnez l’icône de la corbeille pour supprimer les corbeilles existantes.

   

5. Vous pouvez ajouter une traçabilité au niveau des ressources en sélectionnant à nouveau le bouton Ajouter une traçabilité manuelle . Lorsque vous avez terminé, sélectionnez le bouton Enregistrer pour enregistrer votre lignée et quitter le mode édition.

Limitations connues de la traçabilité manuelle

• L’expérience actuelle du sélecteur de ressources permet de sélectionner une seule ressource à la fois.
• La traçabilité manuelle au niveau de la colonne est actuellement prise en charge pour la traçabilité entre deux ressources de données, mais elle n’est pas prise en charge lorsque la ressource de processus est impliquée entre les deux.
• Accès à la conservation des données requis pour les ressources sources et cibles.
• Ces types de ressources n’autorisent pas actuellement la traçabilité manuelle, car ils prennent en charge la traçabilité automatisée :
  • Azure Data Factory
  • Pipelines Synapse
  • Jeux de données Power BI
  • Procédure stockée Teradata
  • Procédure stockée Azure SQL

Traçabilité des colonnes de jeux de données

Pour afficher la traçabilité au niveau des colonnes d’un jeu de données, accédez à l’onglet Traçabilité de la ressource actuelle dans le catalogue et suivez les étapes ci-dessous :

1. Une fois dans l’onglet Traçabilité, dans le volet gauche, sélectionnez la case à cocher en regard de chaque colonne que vous souhaitez afficher dans la traçabilité des données.

   

2. Placez le curseur sur une colonne sélectionnée dans le volet gauche ou dans le jeu de données du canevas de traçabilité pour voir le mappage de colonne. Toutes les instances de colonne sont mises en surbrillance.

   

3. Si le nombre de colonnes est supérieur à ce qui peut être affiché dans le volet gauche, utilisez l’option de filtre pour sélectionner une colonne spécifique par nom. Vous pouvez également utiliser votre souris pour faire défiler la liste.

   

4. Si le canevas de traçabilité contient d’autres nœuds et arêtes, utilisez le filtre pour sélectionner des nœuds de ressource de données ou de processus par nom. Vous pouvez également utiliser votre souris pour effectuer un panoramique dans la fenêtre de traçabilité.

   

5. Utilisez le bouton bascule dans le volet gauche pour mettre en surbrillance la liste des jeux de données dans le canevas de traçabilité. Si vous désactivez le bouton bascule, toute ressource contenant au moins une des colonnes sélectionnées est affichée. Si vous activez le bouton bascule, seuls les jeux de données contenant toutes les colonnes sont affichés.

   

Traçabilité de colonne de processus

Vous pouvez également afficher les processus de données, tels que les activités de copie, dans le catalogue. Par exemple, dans ce flux de traçabilité, sélectionnez l’activité de copie :

L’activité de copie se développe, puis vous pouvez sélectionner le bouton Passer à la ressource , qui vous donnera plus de détails sur le processus lui-même.

Le processus de données peut prendre un ou plusieurs jeux de données d’entrée pour produire une ou plusieurs sorties. Dans Microsoft Purview, la traçabilité au niveau des colonnes est disponible pour les nœuds de processus.

1. Basculez entre les jeux de données d’entrée et de sortie à partir d’une liste déroulante dans le panneau des colonnes.

2. Sélectionnez des colonnes dans une ou plusieurs tables pour voir la traçabilité du flux du jeu de données d’entrée au jeu de données de sortie correspondant.

   

Parcourir les ressources dans la traçabilité

1. Sélectionnez Basculer vers la ressource sur n’importe quelle ressource pour afficher ses métadonnées correspondantes à partir de la vue de traçabilité. Il s’agit d’un moyen efficace d’accéder à une autre ressource du catalogue à partir de la vue de traçabilité.

   

2. Le canevas de traçabilité peut devenir complexe pour les ensembles de données populaires. Pour éviter l’encombrement, la vue par défaut affiche uniquement cinq niveaux de traçabilité pour la ressource au focus. Le reste de la lignée peut être développé en sélectionnant les bulles dans le canevas de traçabilité. Les consommateurs de données peuvent également masquer les ressources sans intérêt dans le canevas. Pour réduire davantage l’encombrement, désactivez le bouton bascule Plus de traçabilité en haut de la zone de dessin de traçabilité. Cette action masque toutes les bulles dans le canevas de traçabilité.

   

3. Utilisez les boutons intelligents dans le canevas de traçabilité pour obtenir une vue optimale de la traçabilité :

   1. Plein écran
   2. Faire un zoom pour ajuster
   3. Effectuer un zoom avant ou arrière
   4. Alignement automatique
   5. Aperçu du zoom
   6. Et plus d’options :
      1. Centrer la ressource actuelle
      2. Rétablir la vue par défaut

   

Créer une traçabilité personnalisée manuellement ou à l’aide d’API REST

L’une des fonctionnalités importantes de la plateforme Microsoft Purview est la possibilité d’afficher la traçabilité entre les jeux de données créés par les processus de données. Des systèmes tels que Data Factory, Data Share et Power BI capturent la traçabilité des données à mesure qu’elles se déplacent. Dans certaines situations, la traçabilité générée automatiquement par Purview est incomplète ou manquante à des fins de visualisation pratique et/ou de création de rapports d’entreprise. Dans ces scénarios, vous pouvez créer des entrées de traçabilité personnalisées manuellement dans le portail Microsoft Purview, ou via les hooks Apache Atlas et l’API REST. Un autre avantage majeur de l’utilisation des API REST pour signaler ou créer une traçabilité personnalisée est de surmonter ou d’atténuer les limitations des fonctionnalités exposées par la traçabilité manuelle.

Pour créer manuellement une traçabilité personnalisée, vous pouvez suivre ce guide de l’utilisateur : Entrées de traçabilité manuelle dans Microsoft Purview.

Pour créer une traçabilité personnalisée dans Microsoft Purview à l’aide des API REST, suivez ce guide de l’utilisateur : Microsoft Purview : Création d’une traçabilité personnalisée à l’aide des API REST.

Meilleures pratiques en matière de traçabilité

Étapes suivantes

• Lien vers Azure Data Factory pour la traçabilité
• Lien vers Azure Data Share pour la traçabilité