Se connecter aux bases de données Hive Metastore et les gérer dans Microsoft Purview

Cet article explique comment inscrire des bases de données Hive Metastore, et comment authentifier les bases de données Hive Metastore et interagir avec elles dans Microsoft Purview. Pour plus d’informations sur Microsoft Purview, lisez l’article d’introduction.

Fonctionnalités prises en charge

Capacités d’analyse

Les versions Hive prises en charge sont les suivantes : 2.x à 3.x. Les plateformes prises en charge sont Apache Hadoop, Cloudera et Hortonworks. Si vous souhaitez analyser Azure Databricks, nous vous conseillons d’utiliser le connecteur Azure Databricks, qui est plus compatible et plus convivial.

Lors de l’analyse de la source du metastore Hive, Microsoft Purview prend en charge :

• Extraction de métadonnées techniques, notamment :

  • Serveur
  • Bases de données
  • Tables comprenant les colonnes, les clés étrangères, les contraintes uniques et la description du stockage
  • Vues, y compris les colonnes et la description du stockage

• Extraction de la traçabilité statique sur les ressources, relations entre tables et vues.

Lors de la configuration de l’analyse, vous pouvez choisir d’analyser une base de données complète de metastore Hive ou d’étendre l’analyse à un sous-ensemble de schémas correspondant au(x) nom(s) donné(s) ou au(x) modèle(s) de nom.

Autres fonctionnalités

Pour les classifications, les étiquettes de confidentialité, les stratégies, la traçabilité des données et l’affichage en direct, consultez la liste des fonctionnalités prises en charge.

Limitations connues

Lorsque l’objet est supprimé de la source de données, l’analyse suivante ne supprime pas automatiquement la ressource correspondante dans Microsoft Purview.

Configuration requise

• Vous devez disposer d’un compte Azure avec un abonnement actif. Créez un compte gratuitement.

• Vous devez disposer d’un compte Microsoft Purview actif.

• Vous devez disposer des autorisations Administrateur de source de données et Lecteur de données pour inscrire une source et la gérer dans le portail de gouvernance Microsoft Purview. Pour plus d’informations sur les autorisations, consultez Contrôle d’accès dans Microsoft Purview.

• Si votre source de données n’est pas accessible publiquement, configurez le dernier runtime d’intégration auto-hébergé.

  • Choisissez le runtime d’intégration adapté à votre scénario :
    • Pour utiliser un runtime d’intégration auto-hébergé :
      • Suivez l’article pour créer et configurer un runtime d’intégration auto-hébergé.
      • Vérifiez que le JDK 11 est installé sur la machine sur laquelle le runtime d’intégration auto-hébergé est installé. Redémarrez l’ordinateur après avoir installé le nouveau JDK pour qu’il prenne effet.
      • Vérifiez que Visual C++ Redistributable (version Visual Studio 2012 Update 4 ou version plus récente) est installé sur l’ordinateur sur lequel le runtime d’intégration auto-hébergé est exécuté. Si cette mise à jour n’est pas installée, téléchargez-la maintenant.
      • Téléchargez le pilote JDBC de la base de données Hive Metastore sur la machine sur laquelle s’exécute votre runtime d’intégration auto-hébergé. Par exemple, si la base de données est mssql, téléchargez le pilote JDBC de Microsoft pour SQL Server. Notez le chemin du dossier que vous utiliserez pour configurer l’analyse.
    • Pour utiliser un runtime d’intégration auto-hébergé pris en charge par Kubernetes :
      • Suivez l’article pour créer et configurer un runtime d’intégration pris en charge par Kubernetes.
      • Téléchargez le pilote JDBC de la base de données Hive Metastore sur la machine sur laquelle s’exécute votre runtime d’intégration auto-hébergé. Par exemple, si la base de données est mssql, téléchargez le pilote JDBC de Microsoft pour SQL Server. Notez le chemin du dossier que vous utiliserez pour configurer l’analyse.

  Remarque

  Le pilote JDBC doit être accessible par le runtime d’intégration auto-hébergé. Par défaut, le runtime d’intégration auto-hébergé utilise le compte de service local « NT SERVICE\DIAHostService ». Assurez-vous qu’il dispose des autorisations « Lire et exécuter » et « Répertorier le contenu du dossier » pour le dossier du pilote.

Inscrire

Cette section décrit comment inscrire une base de données Hive Metastore dans Microsoft Purview à l’aide du portail de gouvernance Microsoft Purview.

La seule authentification prise en charge pour une base de données Hive Metastore est l’authentification de base.

1. Ouvrez le portail de gouvernance Microsoft Purview en :

   • Accédez directement à votre compte Microsoft Purview et sélectionnez-le https://web.purview.azure.com .
   • Ouverture du portail Azure, recherche et sélection du compte Microsoft Purview. Sélection du bouton du portail de gouvernance Microsoft Purview .

2. Sélectionnez Mappage de données dans le volet gauche.

3. Sélectionner Inscription.

4. Dans Inscrire les sources, sélectionnez Hive Metastore>Continuer.

5. Dans l’écran Inscrire les sources (Hive Metastore), procédez comme suit :

   1. Pour Nom, entrez un nom que Microsoft Purview répertoriera comme source de données.

   2. Pour l’URL du cluster Hive, entrez une valeur que vous obtenez à partir de l’URL Ambari. Par exemple, entrez hive.azurehdinsight.net.

   3. Pour Hive Metastore Server URL, entrez une URL pour le serveur. Par exemple, entrez sqlserver://hive.database.windows.net.

   4. Sélectionnez une collection dans la liste.

   

6. Sélectionnez Terminer.

Analyser

Utilisez les étapes suivantes pour analyser les bases de données Hive Metastore afin d’identifier automatiquement les ressources. Pour plus d’informations sur l’analyse en général, consultez Analyses et ingestion dans Microsoft Purview.

1. Dans le Centre de gestion, sélectionnez Runtimes d’intégration. Assurez-vous qu’un runtime d’intégration auto-hébergé est configuré. S’il n’est pas configuré, suivez les étapes indiquées dans les conditions préalables.

2. Accédez aux Sources.

3. Sélectionnez la base de données Hive Metastore enregistrée.

4. Sélectionnez + Nouvelle analyse.

5. Fournissez les détails suivants :

   1. Nom : entrez un nom pour l’analyse.

   2. Se connecter via le runtime d’intégration : sélectionnez le runtime d’intégration auto-hébergé configuré.

   3. Informations d’identification : sélectionnez les informations d’identification pour vous connecter à votre source de données. Veillez à :

      • Sélectionnez Authentification de base lors de la création d’informations d’identification.
      • Indiquez le nom d’utilisateur du metastore dans la case appropriée.
      • Stockez le mot de passe Metastore dans la clé secrète.

      Pour plus d’informations, consultez Informations d’identification pour l’authentification source dans Microsoft Purview.

   4. Emplacement du pilote JDBC Metastore : spécifiez le chemin d’accès à l’emplacement du pilote JDBC sur votre ordinateur où le runtime d’intégration auto-hôte s’exécute. Par exemple : D:\Drivers\HiveMetastore.

      1. Pour le runtime d’intégration auto-hébergé sur un ordinateur local : D:\Drivers\HiveMetastore. Il s’agit du chemin d’accès à l’emplacement valide du dossier JAR. La valeur doit être un chemin d’accès absolu valide au fichier, sans espace. Assurez-vous que le pilote est accessible par le runtime d’intégration auto-hébergé ;; Pour plus d’informations, consultez la section Conditions préalables.
      2. Pour le runtime d’intégration auto-hébergé supporté par Kubernetes : ./drivers/HiveMetastore. Il s’agit du chemin d’accès à l’emplacement valide du dossier JAR. La valeur doit être un chemin d’accès au fichier relatif valide. Reportez-vous à la documentation pour configurer une analyse avec des pilotes externes afin de télécharger les pilotes à l’avance.

   5. Classe de pilote JDBC Metastore : indiquez le nom de classe du pilote de connexion. Par exemple, entrez \com.microsoft.sqlserver.jdbc.SQLServerDriver.

   6. URL JDBC Metastore : fournissez la valeur de l’URL de connexion et définissez la connexion à l’URL du serveur de base de données Metastore. Par exemple : jdbc:sqlserver://hive.database.windows.net;database=hive;encrypt=true;trustServerCertificate=true;create=false;loginTimeout=300.

      Remarque

      Lorsque vous copiez l’URL à partir de hive-site.xml, supprimez-la amp; de la chaîne, sinon l’analyse échouera.

      Téléchargez le certificat SSL sur l’ordinateur du runtime d’intégration auto-hébergé, puis mettez à jour le chemin d’accès à l’emplacement du certificat SSL sur votre ordinateur dans l’URL.

      Lorsque vous entrez des chemins d’accès de fichiers locaux dans la configuration d’analyse, modifiez le caractère de séparation de chemin Windows d’une barre oblique inverse (\) à une barre oblique (/). Par exemple, si vous placez le certificat SSL dans le chemin d’accès au fichier local D :\Drivers\SSLCert\BaltimoreCyberTrustRoot.crt.pem, remplacez la valeur du serverSslCert paramètre par D :/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem.

      La valeur de l’URL JDBC Metastore ressemblera à cet exemple :

      jdbc:mariadb://samplehost.mysql.database.azure.com:3306/XXXXXXXXXXXXXXXX?useSSL=true&enabledSslProtocolSuites=TLSv1,TLSv1.1,TLSv1.2&serverSslCert=D:/Drivers/SSLCert/BaltimoreCyberTrustRoot.crt.pem

   7. Nom de la base de données du metastore : indiquez le nom de la base de données du Metastore Hive.

   8. Schéma : Spécifiez une liste de schémas Hive à importer. Par exemple : schéma1 ; schéma2.

      Tous les schémas utilisateur sont importés si cette liste est vide. Par défaut, tous les schémas système (par exemple, SysAdmin) et objets sont ignorés.

      Les modèles de noms de schéma acceptables qui utilisent la syntaxe d’expression SQL LIKE incluent le signe de pourcentage ( %). Par exemple, A%; %B; %C%; D signifie :

      • Commencer par A ou
      • Se termine par B ou
      • Contiennent C ou
      • Égal à D

      L’utilisation de NOT et de caractères spéciaux n’est pas acceptable.

   9. Mémoire maximale disponible : Mémoire maximale (en gigaoctets) disponible sur la machine du client pour les processus de numérisation. Cette valeur dépend de la taille de la base de données Hive Metastore à analyser.

      Remarque

      En règle générale, veuillez fournir 1 Go de mémoire pour 1 000 tables.

   

6. Cliquez sur Continuer.

7. Pour Déclencheur d’analyse, choisissez de configurer une planification ou d’exécuter l’analyse une seule fois.

8. Passez en revue votre analyse et sélectionnez Enregistrer et exécuter.

Afficher vos analyses et exécutions d’analyse

Pour afficher les analyses existantes :

1. Accédez au portail Microsoft Purview. Dans le volet gauche, sélectionnez Mappage de données.
2. Sélectionnez la source de données. Vous pouvez afficher la liste des analyses existantes sur cette source de données sous Analyses récentes, ou vous pouvez afficher toutes les analyses sous l’onglet Analyses .
3. Sélectionnez l’analyse dont vous voulez afficher les résultats. Le volet affiche toutes les exécutions d’analyse précédentes, ainsi que les status et les métriques de chaque exécution d’analyse.
4. Sélectionnez l’ID d’exécution pour vérifier les détails de l’exécution d’analyse dans le cas de la case activée.

Gérer vos analyses

Pour modifier, annuler ou supprimer une analyse :

1. Accédez au portail Microsoft Purview. Dans le volet gauche, sélectionnez Mappage de données.

2. Sélectionnez la source de données. Vous pouvez afficher la liste des analyses existantes sur cette source de données sous Analyses récentes, ou vous pouvez afficher toutes les analyses sous l’onglet Analyses .

3. Sélectionnez l’analyse que vous souhaitez gérer. Vous pouvez ensuite :

   • Modifiez la numérisation en sélectionnant Modifier la numérisation.
   • Annulez une analyse en cours en sélectionnant Annuler l’exécution de l’analyse.
   • Supprimez votre analyse en sélectionnant Supprimer l’analyse.

Traçabilité

Après avoir analysé votre source Hive Metastore, vous pouvez parcourir le catalogue unifié ou rechercher le catalogue unifié pour afficher les détails de la ressource.

Accédez à l’onglet Ressource :> traçabilité, pour voir la relation entre les ressources, le cas échéant. Reportez-vous à la section des fonctionnalités prises en charge sur les scénarios de traçabilité Hive Metastore pris en charge. Pour plus d’informations sur la traçabilité en général, consultez Traçabilité des données et guide de l’utilisateur de la traçabilité.

Étapes suivantes

Maintenant que vous avez enregistré votre source, utilisez les guides suivants pour en savoir plus sur Microsoft Purview et vos données :

• Informations sur le patrimoine de données dans Microsoft Purview
• Traçabilité dans Microsoft Purview
• Rechercher dans le Catalogue unifié