Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Importante
Les fonctionnalités de gouvernance des données de catalogue unifié Microsoft Purview et Microsoft Purview classique (anciennement Azure Purview) sont mises hors service. Microsoft consolide ses fonctionnalités de gouvernance des données dans Microsoft Fabric. Vous ne pouvez plus créer de comptes et les fonctionnalités existantes resteront en mode maintenance jusqu’au 12 novembre 2027. Pour connaître les délais de mise hors service, les conseils de transition et les prochaines étapes recommandées, consultez l’annonce de mise hors service de la gouvernance des données Microsoft Purview.
Cet article explique comment inscrire Azure Databricks, comment authentifier le catalogue Unity Azure Databricks et interagir avec lui dans Microsoft Purview. Pour plus d’informations sur Microsoft Purview, consultez l’article d’introduction.
Fonctionnalités prises en charge
Capacités d’analyse
| Extraction de métadonnées | Analyse complète | Analyse incrémentielle | Analyse étendue |
|---|---|---|---|
| Oui | Oui | Oui | Non |
Lors de l’analyse du catalogue Azure Databricks Unity, Microsoft Purview prend en charge :
Extraction de métadonnées techniques, notamment :
- Azure SQL
- Catalogues
- Schémas
- Tables, colonnes comprises. Purview prend en charge les métadonnées de tables externes, mais pas la traçabilité.
- Vues, colonnes comprises
- Étiquettes du catalogue Unity (les étiquettes qui représentent des étiquettes, l’équivalent de classification dans le catalogue Unity sont analysées dans Microsoft Purview dans les propriétés)
Récupération de la traçabilité sur les relations entre les tables, les vues et les colonnes pendant les exécutions de notebooks.
Lors de la configuration d’une analyse, vous pouvez choisir de numériser l’ensemble du catalogue Unity ou de limiter la numérisation à un sous-ensemble de catalogues.
Autres fonctionnalités
Pour les classifications, les étiquettes de confidentialité, les stratégies, la traçabilité des données et l’affichage en direct, consultez la liste des fonctionnalités prises en charge.
Remarque
Ce connecteur apporte des métadonnées du catalogue Unity d’Azure Databricks. Pour analyser les métadonnées à l’échelle de l’espace de travail Azure Databricks, consultez Connecteur Metastore Hive d’Azure Databricks.
Limitations connues
Dans Microsoft Purview, les noms des blocs-notes Databricks apparaissent sous forme d’ID numériques au lieu de noms lisibles. Cette limitation existe parce que Databricks n’expose pas les noms des notebooks dans la table système Unity Catalog.
Vous pouvez rencontrer des erreurs si les résultats d’analyse d’Azure Databricks dépassent 1 Mo et que le stockage d’objets blob géré par Azure Databricks refuse l’accès au réseau public. Pour éviter ce problème, assurez-vous que Microsoft Purview a accès à l’emplacement de stockage DBFS interne de l’espace de travail Azure Databricks en cours d’analyse. Pour plus d’informations, consultez Récupération dans le cloud dans JDBC.
L’analyse incrémentielle est disponible uniquement pour la source de données Azure Databricks Unity Catalog.
L’analyse étendue est disponible uniquement pour l’option Catalogue Unity sous la source de données Azure Databricks.
Vous pouvez ajouter des points de terminaison privés managés uniquement pour l’option Catalogue Unity sous la source de données Azure Databricks.
Lorsque vous supprimez un objet de la source de données, l’analyse suivante ne supprime pas automatiquement la ressource correspondante dans Microsoft Purview.
Les informations de traçabilité ne sont pas disponibles dans les espaces de travail Azure Databricks de la région Chine. Cette limitation existe car les tables système Azure Databricks ne sont pas prises en charge dans cette région. Microsoft Purview utilise ces tables pour extraire la traçabilité, il n’est donc pas en mesure de récupérer la traçabilité dans cette région.
Si vous ne souhaitez pas que la description de la colonne soit affichée dans Microsoft Purview, définissez le commentaire de colonne de la table Databricks sur une chaîne vide.
La traçabilité pour l’externe n’est pas prise en charge.
Les balises ne sont actuellement pas prises en charge pour les analyses effectuées à l’aide d’une option SHIR Kubernetes.
Pour plus d’informations sur les autres limitations liées à la traçabilité native d’Azure Databricks, consultez la documentation d’Azure Databricks.
Configuration requise
Vous devez disposer d’un compte Azure avec un abonnement actif. Créez un compte gratuitement.
Vous devez disposer d’un compte Microsoft Purview actif.
Vous avez besoin d’un Azure Key Vault et d’accorder à Microsoft Purview les autorisations d’accès aux secrets.
Vous devez disposer des autorisations d’administrateur de source de données et de lecteur de données pour inscrire une source et la gérer dans le portail de gouvernance Microsoft Purview classique. Pour plus d’informations sur les autorisations, consultez Contrôle d’accès dans Microsoft Purview.
Pour analyser le catalogue Azure Databricks Unity, Microsoft Purview se connecte à un SQL Warehouse dans votre espace de travail et utilise un jeton d’accès personnel pour l’authentification. Vous devez disposer d’un espace de travail Azure Databricks Unity Catalog activé et attaché au metastore que vous souhaitez analyser. Dans votre espace de travail Azure Databricks :
Créez un entrepôt SQL. Vous pouvez également utiliser l’entrepôt de démarrage créé automatiquement, le cas échéant.
Notez le chemin d’accès HTTP. Vous pouvez le trouver dans l’espace de travail > Azure Databricks SQL Warehouses > votre entrepôt > Détails > de la connexion Chemin d’accès HTTP.
Assurez-vous que l’utilisateur dispose de l’autorisation Peut utiliser pour pouvoir se connecter à l’entrepôt SQL d’Azure Databricks. Pour plus d’informations, consultez Contrôle d’accès à l’entrepôt SQL.
L’entrepôt SQL dans Azure Databricks doit être en cours d’exécution pour établir une connexion avec Microsoft Purview avant de configurer l’analyse dans Microsoft Purview.
Pour extraire la traçabilité d’Azure Databricks à l’aide de Microsoft Purview, les conditions préalables suivantes doivent être en place :
Activez le schéma système : le schéma système system.access doit être activé dans votre catalogue Unity. Cette exigence existe parce que les informations de traçabilité sont stockées dans les tables système, et l’activation de ce schéma permet d’accéder à ces tables. En savoir plus sur la surveillance de l’utilisation avec les tables système.
Privilèges utilisateur :
Le compte d’utilisateur que vous utilisez pour l’analyse doit disposer des privilèges SELECT sur les tables système suivantes :
- system.access.table_lineage
- system.access.column_lineage
Ces autorisations sont nécessaires, car les données de traçabilité sont lues directement à partir des tables système et, sans l’accès nécessaire, Microsoft Purview ne peut pas récupérer les informations de traçabilité.
Le compte d’utilisateur que vous utilisez pour l’analyse doit également disposer des autorisations suivantes :
- USE CATALOG sur le système
- USE SCHEMA on system.access
Si votre espace de travail Azure Databricks n’autorise pas l’accès à partir d’un réseau public ou si votre compte Microsoft Purview n’active pas l’accès à partir de tous les réseaux, vous pouvez utiliser le Réseau virtuel Integration Runtime géré ou un runtime d’intégration auto-hébergé pris en charge par Kubernetes pour analyser. Vous pouvez configurer un point de terminaison privé managé pour Azure Databricks selon vos besoins afin d’établir une connectivité privée.
Configuration de la source de données (Azure Databricks et Azure Databricks Unity Catalog)
Vous pouvez configurer une connexion Azure Databricks Unity Catalog à Microsoft Purview via deux sources :
- Azure Databricks (ancienne source)
- Catalogue Unity d' Azure Databricks
Différences de fonctionnalités entre les sources de données
Les fonctionnalités du connecteur Azure Databricks Unity Catalog diffèrent en fonction de la source utilisée pour la connexion, comme indiqué dans le tableau suivant :
| Fonctionnalité | Ancienne source | Nouvelle source |
|---|---|---|
| Nom de la source | Azure Databricks | Catalogue Unity d' Azure Databricks |
| Source prise en charge | Hive & Unity Catalog | Unity Catalog |
| Authentification : Jeton d’accès personnel | Pris en charge | Pris en charge |
| Authentification : principal du service | Non | Pris en charge |
| Authentification : identité gérée | Non | Prise en charge (identité gérée par le système) |
| Integration Runtime : Azure IR | Pris en charge | Pris en charge |
| Integration Runtime : IR de réseau virtuel géré | Pris en charge | Oui** |
| Integration Runtime : Kubernetes Self-Hosted IR | Pris en charge | Pris en charge |
| Analyse étendue | Oui – au niveau du catalogue | Non |
| Analyse incrémentielle | Non | Oui |
| Traçabilité | Pris en charge | Pris en charge |
**L’analyse Azure Databricks Unity Catalog est prise en charge par les Réseau virtuel Integration Runtime gérés. Toutefois, le point de terminaison privé géré n’est pas pris en charge dans ce cas.
Quelle source dois-je utiliser ?
Choisissez l’une des sources en fonction des besoins de votre organisation, ou utilisez les deux en parallèle. Le basculement entre les sources ou l’utilisation simultanée des deux n’entraîne pas de duplication de ressources dans Microsoft Purview. Cette flexibilité vous permet de commencer par l’option qui correspond le mieux à votre configuration actuelle et de l’ajuster au fil du temps en fonction des besoins.
Authentification d’une analyse
Pour analyser le catalogue Azure Databricks Unity, utilisez des jetons d’accès personnels, des identités gérées ou des méthodes d’authentification de principal de service.
Si vous utilisez une identité managée attribuée par le système
Dans Azure Databricks
Accédez à Paramètres> Administrateur >de l’espace de travailIdentité et accès.
Sélectionnez Ajouter un principal du service.
Sélectionnez Ajouter nouveau.
Sélectionnez Microsoft Entra ID géré. Entrez l’ID d’application pour Microsoft Purview. Vous trouverez l’ID d’application sous les détails de la ressource de compte Microsoft Purview dans le portail Azure.
Dans Microsoft Purview
- Sélectionnez l’identité managée affectée par le système sous Informations d’identification.
Pour tous les objets que vous souhaitez intégrer dans Microsoft Purview, l’utilisateur ou le principal de service doit disposer au moins des privilèges SELECT sur les tables/vues, USE CATALOG sur le catalogue de l’objet et USE SCHEMA sur le schéma de l’objet.
Pour analyser tous les objets d’un metastore Unity Catalog, utilisez un utilisateur ou un principal de service avec un rôle d’administrateur metastore. Pour plus d’informations, consultez Gérer les privilèges dans Unity Catalog et Privilèges et objets sécurisables dans Unity Catalog.
- Pour la classification, l’utilisateur doit également disposer du privilège SELECT sur les tables/vues pour récupérer des exemples de données.
Inscrire
Cette section décrit comment inscrire un espace de travail Azure Databricks dans Microsoft Purview à l’aide du portail de gouvernance Microsoft Purview classique.
Accédez à votre compte Microsoft Purview.
Sélectionnez Mappage de données dans le volet gauche.
Sélectionner Inscription.
Dans Inscrire les sources, sélectionnez Catalogue >Unity Azure Databricks.
Dans l’écran Inscrire les sources (catalogue Azure Databricks Unity), procédez comme suit :
Pour Nom, entrez un nom que Microsoft Purview répertoriera comme source de données.
Pour ID de metastore, entrez l’ID de metastore du metastore Azure Databricks Unity Catalog que vous souhaitez analyser.
Sélectionnez une collection dans la liste.
- Sélectionnez Terminer.
Analyser
Conseil
Pour résoudre les problèmes d’analyse éventuels :
- Confirmer que vous remplissez toutes les conditions préalables.
- Consultez la documentation relative à la résolution des problèmes d’analyse.
Utilisez les étapes suivantes pour analyser Azure Databricks et identifier automatiquement les ressources. Pour plus d’informations sur l’analyse, consultez Analyses et ingestion dans Microsoft Purview.
Accédez aux Sources.
Sélectionnez le compte Azure Databricks inscrit.
Sélectionnez + Nouvelle analyse.
Fournissez les détails suivants :
Nom : entrez un nom pour l’analyse.
Se connecter via le runtime d’intégration : choisissez le runtime d’intégration Azure par défaut, le runtime d’intégration Réseau virtuel géré ou un runtime d’intégration auto-hébergé pris en charge par Kubernetes que vous avez créé.
Informations d’identification : sélectionnez les informations d’identification pour vous connecter à votre source de données. Veillez à :
- Sélectionnez Jeton d’accès, Identité gérée ou Principal de service.
- Vous pouvez créer un nouveau jeton d’accès ou des informations d’identification de principal de service lors de l’inscription d’une analyse. Pour plus d’informations, consultez Informations d’identification pour l’authentification source dans Microsoft Purview.
URL de l’espace de travail : Indiquez l’URL de l’espace de travail que vous souhaitez analyser.
-
Chemin HTTP : Spécifier le chemin HTTP de l’entrepôt Databricks SQL auquel Microsoft Purview se connecte et effectue l’analyse ; Par exemple,
/sql/1.0/endpoints/xxxxxxxxxxxxxxxx. Vous pouvez le trouver dans l’espace de travail Azure Databricks -> SQL Warehouses -> votre entrepôt -> Détails de connexion -> Chemin HTTP.
-
Chemin HTTP : Spécifier le chemin HTTP de l’entrepôt Databricks SQL auquel Microsoft Purview se connecte et effectue l’analyse ; Par exemple,
Extraction de la traçabilité : Basculez l’extraction de traçabilité sur On pour récupérer la traçabilité des ressources analysées.
Sélectionnez Tester la connexion pour valider les paramètres.
Cliquez sur Continuer.
Sur la page Étendre votre analyse , sélectionnez un ou plusieurs catalogues sur lesquels vous souhaitez limiter votre analyse. Utilisez le mode avancé (prévisualisation) pour sélectionner des chemins d’accès d’éléments spécifiques à inclure ou à exclure de l’analyse.
Pour Déclencheur d’analyse, choisissez de configurer une planification ou d’exécuter l’analyse une seule fois.
Passez en revue votre analyse et sélectionnez Enregistrer et exécuter.
Une fois la numérisation terminée, découvrez comment parcourir et rechercher des ressources.
Afficher vos analyses et exécutions d’analyse
Pour afficher les analyses existantes :
- Accédez au portail Microsoft Purview. Dans le volet gauche, sélectionnez Mappage de données.
- Sélectionnez la source de données. Vous pouvez afficher la liste des analyses existantes sur cette source de données sous Analyses récentes, ou vous pouvez afficher toutes les analyses sous l’onglet Analyses .
- Sélectionnez l’analyse dont vous voulez afficher les résultats. Le volet affiche toutes les exécutions d’analyse précédentes, ainsi que les status et les métriques de chaque exécution d’analyse.
- Sélectionnez l’ID d’exécution pour vérifier les détails de l’exécution d’analyse dans le cas de la case activée.
Gérer vos analyses
Pour modifier, annuler ou supprimer une analyse :
Accédez au portail Microsoft Purview. Dans le volet gauche, sélectionnez Mappage de données.
Sélectionnez la source de données. Vous pouvez afficher la liste des analyses existantes sur cette source de données sous Analyses récentes, ou vous pouvez afficher toutes les analyses sous l’onglet Analyses .
Sélectionnez l’analyse que vous souhaitez gérer. Vous pouvez ensuite :
- Modifiez la numérisation en sélectionnant Modifier la numérisation.
- Annulez une analyse en cours en sélectionnant Annuler l’exécution de l’analyse.
- Supprimez votre analyse en sélectionnant Supprimer l’analyse.
Remarque
- La suppression de votre analyse ne supprime pas les ressources de catalogue créées à partir des analyses précédentes.
Parcourir et rechercher des ressources
Après avoir analysé votre Azure Databricks, vous pouvez parcourir le catalogue unifié ou rechercher le catalogue unifié pour afficher les détails et la traçabilité des ressources.
Lorsque vous parcourez par types de sources, vous voyez deux entrées pour Azure Databricks Unity Catalog et Azure Databricks. L’entrée du catalogue Unity d’Azure Databricks contient les artefacts du catalogue Unity, y compris le metastore et ses catalogues, schémas, tables et vues. L’entrée Azure Databricks contient les artefacts de l’espace de travail.
Dans la ressource d’espace de travail Azure Databricks, vous trouverez le catalogue Unity associé sous l’onglet Propriétés. L’association fonctionne également à l’envers.
Traçabilité
Lorsque vous parcourez une ressource Azure Databricks particulière, vous pouvez voir les blocs-notes qui ont capturé la traçabilité.
Accédez à la ressource, puis sélectionnez l’onglet Traçabilité. Vous pouvez voir la traçabilité sur la ressource Bloc-notes Azure Databricks ou sur la ressource table/vue, le cas échéant.
Scénarios de traçabilité pris en charge
La traçabilité est prise en charge pour les tables et les vues lorsqu’elles sont connectées via des notebooks Databricks dans le catalogue Unity.
La traçabilité apparaît uniquement pour les objets analysés via Microsoft Purview. Toutes les ressources associées doivent être scannées pour former un graphique de traçabilité complet. Assurez-vous que tous les espaces de travail Databricks avec les notebooks appropriés sont inclus dans les analyses Microsoft Purview.
Limitations de traçabilité
- Lorsque vous exécutez des notebooks via des travaux Databricks, la traçabilité au niveau des colonnes peut ne pas être capturée.
- Microsoft Purview affiche uniquement une traçabilité partielle si vous n’analysez pas tous les objets impliqués dans un flux de données. Par exemple, si un bloc-notes de l’espace de travail A écrit des données dans une table de l’espace de travail B, mais que vous analysez uniquement l’espace de travail A à l’aide de Microsoft Purview, la traçabilité affiche le bloc-notes mais pas la table destination, ce qui entraîne une traçabilité incomplète.
- Si un service externe déclenche un notebook (par exemple, un pipeline Azure Data Factory [ADF] appelant une tâche Databricks), la traçabilité dans Microsoft Purview ne reflète pas cette dépendance.
- Dans ce cas, la traçabilité entre les jeux de données ADF et les ressources Databricks n’est pas affichée.
- Seule la traçabilité construite dans les notebooks Databricks est capturée.
Scénario de traçabilité manquante
L’extraction de la lignée est passive ; Microsoft Purview ingère uniquement ce que la table système du catalogue Unity enregistre et rend accessible.
- Reportez-vous aux sections précédentes pour vous assurer que votre scénario de traçabilité est pris en charge.
- Vérifiez que les tables système de traçabilité du catalogue Unity (
system.access.table_lineage,system.access.column_lineage) sont correctement remplies. - Créez un ticket de support si vous rencontrez toujours des problèmes.
Reportez-vous à la section Fonctionnalités prises en charge pour connaître les scénarios de traçabilité du catalogue Databricks Unity. Pour plus d’informations sur la traçabilité en général, consultez Traçabilité des données et guide de l’utilisateur de la traçabilité.
Forum aux questions (FAQ)
Microsoft Purview capture-t-il la traçabilité au niveau des colonnes à partir du catalogue Unity ?
Microsoft Purview capture la traçabilité au niveau de la table et de la vue du catalogue Unity, ainsi qu’au niveau des colonnes.
Pourquoi ne vois-je pas de traçabilité au niveau des colonnes ?
La traçabilité au niveau des colonnes apparaît lorsque vous exécutez votre bloc-notes à partir d’un cluster. Les entrepôts SQL ne génèrent pas de traçabilité au niveau des colonnes.
Comment faire réparer une erreur de délai d’attente ?
Votre analyse risque de ne pas se terminer si votre espace de travail contient un grand nombre de ressources. Pour résoudre ce problème, limitez votre analyse à quelques catalogues à la fois. Cette approche réduit le nombre de ressources dans chaque analyse et facilite vos analyses.
Pourquoi Microsoft Purview n’a-t-il pas récupéré la traçabilité après avoir exécuté mon bloc-notes ?
Après avoir exécuté votre notebook, Databricks peut prendre quelques minutes pour mettre à jour les informations de traçabilité dans ses tables système. Microsoft Purview peut récupérer la traçabilité après la mise à jour des tables système.
Étapes suivantes
Après avoir enregistré votre source, utilisez les guides suivants pour en savoir plus sur Microsoft Purview et vos données :