Konfigurieren der PolyBase Hadoop-Sicherheit

Dieser Artikel enthält eine Referenz für verschiedene Konfigurationseinstellungen, die sich auf die APS PolyBase-Konnektivität mit Hadoop auswirken. Eine exemplarische Vorgehensweise zu PolyBase finden Sie unter "Was ist PolyBase".

Note

Bei APS sind Änderungen an XML-Dateien auf allen Computeknoten und Steuerknoten erforderlich.

Achten Sie beim Ändern von XML-Dateien in APS besonders darauf. Fehlende Tags oder unerwünschte Zeichen können die XML-Datei ungültig machen, hindert die Benutzerfreundlichkeit des Features. Hadoop-Konfigurationsdateien befinden sich im folgenden Pfad:
C:\Program Files\Microsoft SQL Server Parallel Data Warehouse\100\Hadoop\conf Alle Änderungen an den XML-Dateien erfordern einen Dienstneustart, um wirksam zu sein.

Hadoop.RPC.Protection-Einstellung

Eine häufige Möglichkeit zum Sichern der Kommunikation in einem Hadoop-Cluster besteht darin, die Hadoop.rpc.protection-Konfiguration in "Datenschutz" oder "Integrität" zu ändern. Standardmäßig geht PolyBase davon aus, dass die Konfiguration auf „Authentifizieren“ festgelegt ist. Um diese Standardeinstellung außer Kraft zu setzen, fügen Sie der datei core-site.xml die folgende Eigenschaft hinzu. Durch das Ändern dieser Konfiguration wird die sichere Datenübertragung zwischen den Hadoop-Knoten und der SSL-Verbindung zu SQL Server ermöglicht.

<!-- RPC Encryption information, PLEASE FILL THESE IN ACCORDING TO HADOOP CLUSTER CONFIG -->
   <property>
     <name>hadoop.rpc.protection</name>
     <value></value>
   </property> 

Kerberos-Konfiguration

Beachten Sie, dass bei der Authentifizierung von PolyBase bei einem durch Kerberos gesicherten Cluster standardmäßig die Einstellung hadoop.rpc.protection "Authenticate" lautet. Dadurch bleibt die Datenkommunikation zwischen den Hadoop-Knoten unverschlüsselt. Um die Einstellungen "Datenschutz" oder "Integrität" für hadoop.rpc.protection zu verwenden, aktualisieren Sie die core-site.xml Datei auf dem PolyBase-Server. Weitere Informationen finden Sie im vorherigen Abschnitt (Herstellen einer Verbindung mit einem Hadoop-Cluster mit der Einstellung „hadoop.rpc.protection“).

Zum Herstellen einer Verbindung mit einem kerberossicheren Hadoop-Cluster mit MIT KDC sind die folgenden Änderungen für alle APS-Computeknoten und Steuerknoten erforderlich:

  1. Suchen Sie die Hadoop-Konfigurationsverzeichnisse im Installationspfad von APS. In der Regel lautet der Pfad:

    C:\Program Files\Microsoft SQL Server Parallel Data Warehouse\100\Hadoop\conf  
    
  2. Suchen Sie den hadoopseitigen Konfigurationswert der in dieser Tabelle aufgelisteten Konfigurationsschlüssel. (Suchen Sie die Dateien auf dem Hadoop-Computer im Hadoop-Konfigurationsverzeichnis.)

  3. Kopieren Sie die Konfigurationswerte in die Eigenschaft „Value“ in den entsprechenden Dateien auf dem SQL Server-Computer.

    # Konfigurationsdatei Konfigurationsschlüssel Action
    1 core-site.xml polybase.kerberos.kdchost Geben Sie den KDC-Hostnamen an. Beispiel: kerberos.your-realm.com.
    2 core-site.xml polybase.kerberos.realm Geben Sie den Kerberos-Bereich an. Zum Beispiel: IHR-BEREICH.COM
    3 core-site.xml hadoop.security.authentication Suchen Sie die hadoopseitige Konfiguration, und kopieren Sie diese auf den SQL Server-Computer. Beispiel: KERBEROS

    Sicherheitshinweis: KERBEROS muss in Großbuchstaben geschrieben werden. Wenn es kleingeschrieben ist, ist es möglicherweise nicht eingeschaltet.
    4 hdfs-site.xml dfs.namenode.kerberos.principal Suchen Sie die hadoopseitige Konfiguration, und kopieren Sie diese auf den SQL Server-Computer. Beispiel: hdfs/_HOST@YOUR-REALM.COM
    5 mapred-site.xml mapreduce.jobhistory.principal Suchen Sie die hadoopseitige Konfiguration, und kopieren Sie diese auf den SQL Server-Computer. Beispiel: mapred/_HOST@YOUR-REALM.COM
    6 mapred-site.xml mapreduce.jobhistory.address Suchen Sie die hadoopseitige Konfiguration, und kopieren Sie diese auf den SQL Server-Computer. Beispiel: 10.193.26.174:10020
    7 yarn-site.xml Garn. yarn.resourcemanager.principal Suchen Sie die hadoopseitige Konfiguration, und kopieren Sie diese auf den SQL Server-Computer. Beispiel: Garn/_HOST@YOUR-REALM.COM

core-site.xml

<property>
  <name>polybase.kerberos.realm</name>
  <value></value>
</property>
<property>
  <name>polybase.kerberos.kdchost</name>
  <value></value>
</property>
<property>
    <name>hadoop.security.authentication</name>
    <value>KERBEROS</value>
</property>

hdfs-site.xml

<property>
  <name>dfs.namenode.kerberos.principal</name>
  <value></value> 
</property>

mapred-site.xml

<property>
  <name>mapreduce.jobhistory.principal</name>
  <value></value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value></value>
</property>

yarn-site.xml

<property>
  <name>yarn.resourcemanager.principal</name>
  <value></value>
</property>
  1. Erstellen Sie ein datenbankweites Anmeldeinformationsobjekt, um die Authentifizierungsinformationen für jeden Hadoop-Benutzer anzugeben. Weitere Informationen finden Sie unter PolyBase T-SQL-Objekte.

Einrichtung der Hadoop-Verschlüsselungszone

Wenn Sie die Hadoop-Verschlüsselungszone verwenden, ändern Sie core-site.xml und hdfs-site.xml wie folgt. Geben Sie die IP-Adresse an, an der der KMS-Dienst mit der entsprechenden Portnummer ausgeführt wird. Der Standardport für KMS auf CDH ist 16000.

core-site.xml

<property>
  <name>hadoop.security.key.provider.path</name>
  <value>kms://http@<ip address>:16000/kms</value> 
</property>

hdfs-site.xml

<property>
  <name>dfs.encryption.key.provider.uri</name>
  <value>kms://http@<ip address>:16000/kms</value>
</property>
<property>
  <name>hadoop.security.key.provider.path</name>
  <value>kms://http@<ip address>:16000/kms</value>
  </property>