Configurer la qualité des données pour les données Snowflake

Cet article vous guide tout au long de l’inscription d’une source Snowflake, de l’exécution d’une analyse Data Map et de la configuration d’une connexion de qualité des données dans Catalogue unifié Microsoft Purview. Après avoir effectué ces étapes, vous pouvez profiler vos données Snowflake et exécuter des analyses de qualité des données.

Métadonnées Snowflake prises en charge

Lorsque vous analysez des sources de données Snowflake, Microsoft Purview extrait les métadonnées techniques. L’analyse capture les objets suivants :

• Serveurs, bases de données, schémas et tables
• Vues, clés étrangères et contraintes uniques
• Procédures stockées et leurs paramètres
• Fonctions et leurs paramètres
• Canaux, étapes et flux
• Tâches et séquences

Inscrire une source Snowflake dans Data Map

Pour inscrire une nouvelle source Snowflake dans Catalogue unifié Microsoft Purview, procédez comme suit :

1. Connectez-vous au portail Microsoft Purview.
2. Sélectionnez la solution Data Map carte. Si la solution Data Map carte n’est pas affichée, sélectionnez Afficher toutes les solutions, puis Data Map dans la section Core.
3. Sélectionner Inscription.
4. Dans Inscrire des sources, sélectionnez Snowflake.

Configurer une analyse Data Map

Pour configurer une analyse de votre source Snowflake inscrite, procédez comme suit :

1. Sélectionnez la source Snowflake inscrite.
2. Sélectionnez Nouvelle analyse.
3. Fournissez les détails suivants :
   • Nom : nom de l’analyse.
   • Se connecter via le runtime d’intégration : sélectionnez le runtime d’intégration résolu automatiquement, managed Réseau virtuel IR ou SHIR pour votre scénario.
   • Hôte pour la connexion : sélectionnez l’URL du serveur ou un autre hôte que vous avez configuré dans la source de données.
   • Informations d’identification : sélectionnez les informations d’identification de votre source de données. Utilisez l’authentification de base, fournissez le nom d’utilisateur Snowflake et stockez le mot de passe dans la clé secrète.
   • Entrepôt : spécifiez le nom de l’entrepôt en majuscules. Le rôle par défaut des informations d’identification doit avoir des droits d’utilisation sur cet entrepôt.
   • Bases de données : spécifiez un ou plusieurs noms de base de données en majuscules, séparés par des points-virgules (par exemple, DB1;DB2). Le rôle par défaut des informations d’identification doit avoir des droits sur ces objets de base de données.
   • Schéma : répertorie les schémas à importer, séparés par des points-virgules.
4. Sélectionnez Tester la connexion pour valider les paramètres (disponibles lors de l’utilisation de Azure Integration Runtime).
5. Cliquez sur Continuer.
6. Sélectionnez un ensemble de règles d’analyse pour la classification. Vous pouvez choisir entre le système par défaut et les ensembles de règles personnalisés existants ou créer un nouvel ensemble de règles inline.
7. Passez en revue votre analyse et sélectionnez Enregistrer et exécuter.

Une fois l’analyse terminée, la ressource de données dans Snowflake est disponible sur la recherche Catalogue unifié. Pour plus d’informations sur la connexion et la gestion de Snowflake dans Microsoft Purview, consultez Se connecter et gérer Snowflake dans Microsoft Purview.

Configurer une connexion de qualité des données Snowflake

Une fois l’analyse terminée, la ressource analysée est prête pour le catalogage et la gouvernance. Pour exécuter des analyses de la qualité des données sur la ressource, configurez une connexion Snowflake dans Microsoft Purview.

1. Dans le portail Microsoft Purview, ouvrez Catalogue unifié.

2. Sous Gestion de l’intégrité, sélectionnez Qualité des données.

3. Sélectionnez un domaine de gouvernance dans la liste, puis sélectionnez Connexions dans la liste déroulante Gérer .

4. Configurez la connexion dans la page Connexions :

   • Ajoutez un nom de connexion et une description.
   • Sélectionnez le type de source Snowflake.
   • Ajoutez le nom du serveur, le nom de l’entrepôt, le nom de la base de données, le nom du schéma et le nom de la table.
   • Sélectionnez une méthode d’authentification : De base, Clé privée (préversion) ou OAuth (préversion) .
   • Ajoutez le nom d’utilisateur.
   • Ajouter des informations d’identification : abonnement Azure, connexion Key Vault, nom du secret et version du secret.
   • Sélectionnez Activer le réseau virtuel managé si votre instance Snowflake s’exécute sur Azure Réseau virtuel, puis ajoutez la région Azure, l’ID de ressources Private Link et le nom de domaine complet.

5. Testez la connexion pour vérifier qu’elle fonctionne. Si vous utilisez Réseau virtuel, la fonctionnalité de test de connexion n’est pas prise en charge.

   

   

L’ID de ressource pour la liaison privée Snowflake cible a le format suivant : /subscriptions/(subscription_id)/resourcegroups/az(region)-privatelink/providers/microsoft.network/privatelinkservices/sf-pvlinksvc-az(region).

• Pour obtenir l’ID de région et le nom complet, exécutez SYSTEM_WHITE_LIST et SYSTEM_WHITE_LIST_PRIVATELINK pour obtenir les SNOWFLAKE_DEPLOYMENTvaleurs , SNOWFLAKE_DEPLOYMENT_REGIONLESSet OCSP_CACHE pour les hôtes de liste publique et verte.
• Pour obtenir l’ID d’abonnement, exécutez SYSTEM$GET_SNOWFLAKE_PLATFORM_INFO() comme ACCOUNTADMIN pour obtenir les valeurs snowflake-vnet-subnet-ids . L’ID d’abonnement pour le Private Link du locataire Snowflake Azure est obtenu à partir de la sortie snowflake-vnet-subnet-ids.

Authentification par clé privée (préversion)

Vous pouvez créer des clés privées avec ou sans phrase secrète à l’aide d’OpenSSL, un outil en ligne de commande pour générer des clés de chiffrement. Si vous générez une clé privée avec une phrase secrète, configurez la clé et la phrase secrète avec la connexion, comme illustré dans la capture d’écran suivante. Si vous ne fournissez pas de phrase secrète pendant la génération de la clé, omettez-la dans la connexion.

La clé privée générée via la commande openssl contient headers/footers des éléments qui indiquent le début et la fin de la key/encrypted clé. Enregistrez tout le contenu du fichier, y compris les en-têtes et les nouvelles lignes, tel qu’il est dans le Key Vault en tant que valeur secrète. Pour ce faire, vous pouvez utiliser un outil en ligne de commande tel que Azure CLI. Sans les en-têtes de fichier de clé privée, les pieds de page et la mise en forme de nouvelle ligne d’origine, l’authentification avec Snowflake échoue.

Pour des questions de sécurité, faites pivoter vos clés régulièrement. Lorsque vous faites pivoter une clé, mettez-la à jour dans Key Vault et dans la connexion Microsoft Purview. Les nouveaux travaux utilisent la clé mise à jour. Conservez l’ancienne clé active jusqu’à ce que les travaux en cours soient terminés.

Authentification OAuth (préversion)

Vous pouvez configurer une connexion basée sur OAuth en utilisant Microsoft Entra ID comme fournisseur OAuth. Les jetons d’accès OAuth sont généralement de courte durée. Toutefois, les travaux d’évaluation de la qualité des données peuvent s’exécuter pendant une longue période, en fonction du volume de données. Définissez la durée de vie du jeton d’accès OAuth sur au moins six heures, ce qui correspond à la durée maximale moyenne du travail. Les travaux échouent si le jeton d’accès expire avant la fin du travail.

Si vous ne pouvez pas augmenter la durée de vie du jeton d’accès, ou si votre stratégie ne l’autorise pas, utilisez l’authentification basée sur la paire de clés, car l’authentification de paire de clés n’a pas de contraintes de durée de vie de jeton.

Exemples de valeurs pour les paramètres de connexion OAuth :

• Nom d’utilisateur : DB41C9CD-96E7-47B0-ADB6-0A4D080229A0 (Valeur de login_name la propriété de Snowflake)
• ID client : 00001111-aaaa-2222-bbbb-3333cccc4444 (ID client de Portail Azure)
• URL du jeton : https://login.microsoftonline.com/ddfd8861-7cbd-43df-ad13-4f9e958cf53b/oauth2/v2.0/token (Token URL from Azure app)
• Portée :api://aaaabbbb-0000-cccc-1111-dddd2222eeee/.default (Scope as registered with the Azure app)

Comprendre la sélection de la connexion

Vous ne choisissez pas explicitement les connexions lorsque vous démarrez des évaluations ou configurez des planifications. Le système sélectionne automatiquement une connexion en fonction des règles suivantes :

• S’il n’existe que des connexions utilisateur-mot de passe, le système sélectionne la première connexion créée.
• S’il existe des connexions de paire de clés ou OAuth, le système ignore toutes les connexions par mot de passe utilisateur et sélectionne la première paire de clés ou la première connexion OAuth créée.

L’illustration suivante montre comment le système sélectionne une connexion en fonction du type et de l’ordre de création.

Supposons qu’il n’existe que des connexions basées sur un mot de passe utilisateur :

• SnowflakeConnectionBob (mot de passe utilisateur)
• SnowflakeConnectionAlice (mot de passe utilisateur)
• SnowflakeConnectionEve (mot de passe utilisateur)

Le système sélectionne la connexion SnowflakeConnectionBob .

Supposons que tous les types de connexions existent et que vous les avez créées dans l’ordre suivant :

• SnowflakeConnectionBob (mot de passe utilisateur)
• SnowflakeConnectionAlice (Paire de clés)
• SnowflakeConnectionCharlie (OAuth)
• SnowflakeConnectionEve (mot de passe utilisateur)

Dans ce cas, le système ignore SnowflakeConnectionBob et SnowflakeConnectionEve. Le système prend uniquement en compte les connexions suivantes pour la sélection :

• SnowflakeConnectionAlice (Paire de clés)
• SnowflakeConnectionCharlie (OAuth)

En règle générale, le système sélectionne SnowflakeConnectionAlice pour l’évaluation et les exécutions planifiées.

Étapes suivantes

Après avoir configuré la connexion, vous pouvez profiler vos données, créer et appliquer des règles, et exécuter une analyse de la qualité des données. Pour obtenir des instructions pas à pas, consultez les articles sur le profilage des données et l’analyse de la qualité des données :

• Configurer et exécuter le profilage des données
• Configurer et exécuter une analyse de la qualité des données

Contenu connexe

• Se connecter et gérer Snowflake dans Microsoft Purview
• Configurer des connexions de source de données pour la qualité des données
• Configurer Azure Réseau virtuel
• Configurer un point de terminaison privé pour Snowflake Private Link
• Résolution des problèmes sur la qualité des données