Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Cet article fournit une référence pour différents paramètres de configuration qui affectent la connectivité APS PolyBase à Hadoop. Pour obtenir une procédure pas à pas sur ce qui est PolyBase, consultez Présentation de PolyBase.
Note
Sur APS, les modifications apportées aux fichiers XML sont nécessaires sur tous les nœuds de calcul et le nœud de contrôle.
Prenez soin de modifier des fichiers XML dans APS. Les balises manquantes ou les caractères indésirables peuvent invalider le fichier xml empêchant l’utilisation de la fonctionnalité.
Les fichiers de configuration Hadoop se trouvent dans le chemin d’accès suivant :
C:\Program Files\Microsoft SQL Server Parallel Data Warehouse\100\Hadoop\conf Toutes les modifications apportées aux fichiers xml nécessitent un redémarrage du service pour être effective.
Paramètre de Protection Hadoop.RPC
Un moyen courant de sécuriser la communication dans un cluster hadoop consiste à remplacer la configuration hadoop.rpc.protection par « Confidentialité » ou « Intégrité ». Par défaut, PolyBase suppose que la configuration est définie sur « Authenticate ». Pour remplacer cette valeur par défaut, ajoutez la propriété suivante au fichier core-site.xml. La modification de cette configuration permet un transfert de données sécurisé entre les nœuds hadoop et la connexion SSL à SQL Server.
<!-- RPC Encryption information, PLEASE FILL THESE IN ACCORDING TO HADOOP CLUSTER CONFIG -->
<property>
<name>hadoop.rpc.protection</name>
<value></value>
</property>
Configuration Kerberos
Notez que lorsque PolyBase s’authentifie auprès d’un cluster sécurisé Kerberos, le paramètre hadoop.rpc.protection est « Authentifier » par défaut. De cette façon, la communication de données entre les nœuds Hadoop n’est pas chiffrée. Pour utiliser les paramètres « Confidentialité » ou « Intégrité » pour hadoop.rpc.protection, mettez à jour le fichier core-site.xml sur le serveur PolyBase. Pour plus d’informations, consultez la section précédente Connexion à un cluster Hadoop avec Hadoop.rpc.protection.
Pour vous connecter à un cluster Hadoop sécurisé par Kerberos à l’aide du KDC MIT, les modifications suivantes sont nécessaires sur tous les nœuds de calcul APS et nœud de contrôle :
Recherchez les répertoires de configuration Hadoop dans le chemin d’installation d’APS. En règle générale, le chemin d’accès est le suivant :
C:\Program Files\Microsoft SQL Server Parallel Data Warehouse\100\Hadoop\confRecherchez la valeur de configuration côté Hadoop des clés de configuration répertoriées dans le tableau. Sur l’ordinateur Hadoop, recherchez les fichiers dans le répertoire de configuration Hadoop.
Copiez les valeurs de configuration dans la propriété 'valeur' des fichiers appropriés sur la machine SQL Server.
# Fichier de configuration Clé de configuration Action 1 core-site.xml polybase.kerberos.kdchost Spécifiez le nom d’hôte KDC. Par exemple : kerberos.your-realm.com. 2 core-site.xml polybase.kerberos.realm Spécifiez le royaume Kerberos. Par exemple : VOTRE-DOMAINE.COM 3 core-site.xml hadoop.security.authentication Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : KERBEROS
Note de sécurité : Kerberos doit être écrit en majuscules. Si c’est en minuscules, il n’est peut-être pas activé.4 hdfs-site.xml dfs.namenode.kerberos.principal Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : hdfs/_HOST@YOUR-REALM.COM 5 mapred-site.xml mapreduce.jobhistory.principal Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : mapred/_HOST@YOUR-REALM.COM 6 mapred-site.xml mapreduce.jobhistory.address Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : 10.193.26.174:10020 7 yarn-site.xml fil. yarn.resourcemanager.principal Recherchez la configuration côté Hadoop et copiez-la sur l’ordinateur SQL Server. Par exemple : yarn/_HOST@YOUR-REALM.COM
core-site.xml
<property>
<name>polybase.kerberos.realm</name>
<value></value>
</property>
<property>
<name>polybase.kerberos.kdchost</name>
<value></value>
</property>
<property>
<name>hadoop.security.authentication</name>
<value>KERBEROS</value>
</property>
hdfs-site.xml
<property>
<name>dfs.namenode.kerberos.principal</name>
<value></value>
</property>
mapred-site.xml
<property>
<name>mapreduce.jobhistory.principal</name>
<value></value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value></value>
</property>
yarn-site.xml
<property>
<name>yarn.resourcemanager.principal</name>
<value></value>
</property>
- Créez un objet d’informations d’identification limité à la base de données pour spécifier les informations d’authentification de chaque utilisateur Hadoop. Voir objets T-SQL PolyBase.
Configuration de la zone de chiffrement Hadoop
Si vous utilisez la zone de chiffrement Hadoop, modifiez core-site.xml et hdfs-site.xml comme suit. Indiquez l’adresse IP où le service KMS s’exécute avec le numéro de port correspondant. Le port par défaut pour KMS sur CDH est 16000.
core-site.xml
<property>
<name>hadoop.security.key.provider.path</name>
<value>kms://http@<ip address>:16000/kms</value>
</property>
hdfs-site.xml
<property>
<name>dfs.encryption.key.provider.uri</name>
<value>kms://http@<ip address>:16000/kms</value>
</property>
<property>
<name>hadoop.security.key.provider.path</name>
<value>kms://http@<ip address>:16000/kms</value>
</property>