Entwicklung von Skriptaktionen mit HDInsight

Lerne, wie du deinen HDInsight-Cluster mit Bash-Skripten anpassen kannst. Skriptaktionen sind eine Möglichkeit, HDInsight während oder nach der Clustererstellung anzupassen.

Was sind Skriptaktionen?

Skriptaktionen sind Bash-Skripte, die Azure auf den Cluster-Knoten ausführt, um Konfigurationsänderungen vorzunehmen oder Software zu installieren. Eine Skriptaktion wird als Root ausgeführt und gewährt den Clusterknoten volle Zugriffsrechte.

Skriptaktionen können mit folgenden Methoden ausgeführt werden:

Verwenden Sie diese Methode, um ein Skript anzuwenden... Während der Clusterbildung... Auf einem laufenden Cluster...
Azure portal ✓ ✓
Azure PowerShell ✓ ✓
Azure Classic CLI   ✓
HDInsight .NET SDK ✓ ✓
Azure Resource Manager-Vorlage ✓  

Weitere Informationen zur Anwendung dieser Methoden zur Anwendung von Skriptaktionen finden Sie unter Anpassen von HDInsight-Clustern mit Skriptaktionen.

Best Practices für die Skriptentwicklung

Wenn Sie ein individuelles Skript für einen HDInsight-Cluster entwickeln, gibt es mehrere Best Practices, die Sie beachten sollten:

Important

Skriptaktionen müssen innerhalb von 60 Minuten abgeschlossen sein, sonst schlägt der Prozess fehl. Während der Knotenbereitstellung läuft das Skript gleichzeitig mit anderen Einrichtungs- und Konfigurationsprozessen. Der Wettbewerb um Ressourcen wie CPU-Zeit oder Netzwerkbandbreite kann dazu führen, dass es länger als in Ihrer Entwicklungsumgebung dauert, bis das Skript abgeschlossen ist.

Auswählen der Apache Hadoop-Version

Verschiedene Versionen von HDInsight haben unterschiedliche Versionen von Hadoop-Diensten und -Komponenten installiert. Wenn Ihr Skript eine bestimmte Version eines Dienstes oder einer Komponente erwartet, sollten Sie das Skript nur mit der HDInsight-Version verwenden, die die erforderlichen Komponenten enthält. Informationen zu Komponentenversionen, die in HDInsight enthalten sind, finden Sie im Dokument „HDInsight-Komponentenversionierung“.

Überprüfung der Betriebssystemversion

Verschiedene Versionen von HDInsight basieren auf spezifischen Versionen von Ubuntu. Es kann Unterschiede zwischen den Betriebssystemversionen geben, auf die du in deinem Skript achten musst. Zum Beispiel musst du vielleicht eine Binärdatei installieren, die an die Ubuntu-Version gebunden ist.

Um die OS-Version zu überprüfen, verwenden Sie lsb_release. Zum Beispiel zeigt das folgende Skript, wie man je nach OS-Version auf eine bestimmte tar-Datei referenzieren kann:

OS_VERSION=$(lsb_release -sr)
if [[ $OS_VERSION == 14* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-14-04."
    HUE_TARFILE=hue-binaries-14-04.tgz
elif [[ $OS_VERSION == 16* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-16-04."
    HUE_TARFILE=hue-binaries-16-04.tgz
fi

Ausrichten auf die Betriebssystemversion

HDInsight basiert auf der Ubuntu-Linux-Distribution. Verschiedene HDInsight-Versionen basieren auf unterschiedlichen Ubuntu-Versionen, was das Verhalten deines Skripts beeinflussen kann. Zum Beispiel basieren HDInsight 3.4 und frühere auf Ubuntu-Versionen, die Upstart verwenden. Die Versionen 3.5 und höher basieren auf Ubuntu 16.04, das Systemd verwendet. Systemd und Upstart basieren auf unterschiedlichen Befehlen, daher sollte dein Skript so geschrieben sein, dass es mit beiden funktioniert.

Ein weiterer wichtiger Unterschied zwischen HDInsight 3.4 und 3.5 ist, dass JAVA_HOME jetzt auf Java 8 verweist. Der folgende Code zeigt, wie man feststellt, ob das Skript auf Ubuntu 14 oder 16 läuft:

OS_VERSION=$(lsb_release -sr)
if [[ $OS_VERSION == 14* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-14-04."
    HUE_TARFILE=hue-binaries-14-04.tgz
elif [[ $OS_VERSION == 16* ]]; then
    echo "OS version is $OS_VERSION. Using hue-binaries-16-04."
    HUE_TARFILE=hue-binaries-16-04.tgz
fi
...
if [[ $OS_VERSION == 16* ]]; then
    echo "Using systemd configuration"
    systemctl daemon-reload
    systemctl stop webwasb.service    
    systemctl start webwasb.service
else
    echo "Using upstart configuration"
    initctl reload-configuration
    stop webwasb
    start webwasb
fi
...
if [[ $OS_VERSION == 14* ]]; then
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
elif [[ $OS_VERSION == 16* ]]; then
    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
fi

Das vollständige Skript, das diese Ausschnitte enthält, findest du unter https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh.

Für die von HDInsight verwendete Ubuntu-Version siehe das Dokument „HDInsight-Komponentenversion“.

Um die Unterschiede zwischen Systemd und Upstart zu verstehen, siehe Systemd für Upstart-Nutzer.

Stabile Links zu Skriptressourcen bereitstellen

Das Skript und die zugehörigen Ressourcen müssen während der gesamten Lebensdauer des Clusters verfügbar bleiben. Diese Ressourcen werden benötigt, wenn während der Skalierungsoperationen neue Knoten zum Cluster hinzugefügt werden.

Die beste Vorgehensweise ist, alles in einem Azure Storage-Konto in deinem Abonnement herunterzuladen und zu archivieren.

Important

Bei dem verwendeten Speicherkonto muss es sich um das Standardspeicherkonto des Clusters oder um einen öffentlichen, schreibgeschützten Container eines anderen Speicherkontos handeln.

Die von Microsoft bereitgestellten Beispiele sind beispielsweise im Speicherkonto https://hdiconfigactions.blob.core.windows.net/ gespeichert. Dieser Standort ist ein öffentlicher, nur lesbarer Container, der vom HDInsight-Team gepflegt wird.

Verwenden Sie vorkompilierte Ressourcen

Zur Verringerung des Zeitraums, der für die Ausführung des Skripts benötigt wird, sollten Sie Vorgänge vermeiden, mit denen Ressourcen aus dem Quellcode kompiliert werden. Zum Beispiel können Sie Ressourcen vorkompilieren und in einem Azure Storage-Konto-Blob im selben Rechenzentrum wie HDInsight speichern.

Stellen Sie sicher, dass das Cluster-Anpassungsskript idempotent ist

Skripte müssen idempotent sein. Wenn das Skript mehrfach ausgeführt wird, sollte es den Cluster jedes Mal in denselben Zustand zurücksetzen.

Wenn das Skript mehrfach ausgeführt wird, sollte das Skript, das Konfigurationsdateien ändert, keine doppelten Einträge hinzufügen.

Stellen Sie eine hohe Verfügbarkeit der Clusterarchitektur sicher

Linux-basierte HDInsight-Cluster stellen zwei aktive Hauptknoten im Cluster bereit, und Skriptaktionen werden auf beiden Knoten ausgeführt. Wenn die Komponenten, die du installierst, nur einen Headknoten erwarten, installiere die Komponenten nicht auf beiden Headknoten.

Important

Dienste, die im Rahmen von HDInsight bereitgestellt werden, wurden entwickelt, um bei Bedarf ein Failover zwischen den beiden Hauptknoten auszuführen. Diese Funktionalität gilt nicht für benutzerdefinierte Komponenten, die durch Skriptaktionen installiert werden. Wenn du hohe Verfügbarkeit für benutzerdefinierte Komponenten brauchst, musst du deinen eigenen Failover-Mechanismus implementieren.

Konfigurieren Sie die benutzerdefinierten Komponenten so, dass sie Azure Blob Storage verwenden

Komponenten, die du im Cluster installierst, könnten eine Standardkonfiguration haben, die den Speicher von Apache Hadoop Distributed File System (HDFS) verwendet. HDInsight verwendet entweder Azure Storage oder Data Lake Storage als Standardspeicher. Beide bieten ein HDFS-kompatibles Dateisystem, das Daten auch dann speichert, wenn der Cluster gelöscht wird. Möglicherweise musst du die von dir installierten Komponenten so konfigurieren, dass sie WASB oder ADL statt HDFS verwenden.

Für die meisten Operationen musst du das Dateisystem nicht angeben. Zum Beispiel kopiert Folgendes die hadoop-common.jar Datei vom lokalen Dateisystem in den Clusterspeicher:

hdfs dfs -put /usr/hdp/current/hadoop-client/hadoop-common.jar /example/jars/

In diesem Beispiel verwendet der hdfs Befehl transparent den Standard-Clusterspeicher. Für einige Operationen müssen Sie möglicherweise die URI angeben. Zum Beispiel adl:///example/jars für Azure Data Lake Storage Gen1, abfs:///example/jars für Data Lake Storage Gen2 oder wasb:///example/jars für Azure Storage.

Schreibe Informationen an STDOUT und STDERR

HDInsight protokolliert die Skriptausgabe, die in STDOUT und STDERR geschrieben wird. Sie können diese Informationen über die Ambari-Weboberfläche ansehen.

Note

Apache Ambari ist nur verfügbar, wenn der Cluster erfolgreich erstellt wurde. Wenn Sie während der Clustererstellung eine Skriptaktion verwenden und die Erstellung fehlschlägt, siehe Problembehandlung für Skriptaktionen für andere Möglichkeiten, auf die protokollierten Informationen zuzugreifen.

Die meisten Dienstprogramme und Installationspakete schreiben bereits Informationen in STDOUT und STDERR. Möglicherweise möchten Sie jedoch weitere Protokollierungsinformationen hinzufügen. Um Text an STDOUT zu senden, benutze echo. Beispiele:

echo "Getting ready to install Foo"

Standardmäßig sendet echo den String an STDOUT. Um es auf STDERR zu lenken, füge echo vor >&2 hinzu. Beispiele:

>&2 echo "An error occurred installing Foo"

Dadurch werden Informationen, die an STDOUT geschrieben wurden, stattdessen an STDERR (2) weitergeleitet. Weitere Informationen zur IO-Umleitung finden Sie unter https://www.tldp.org/LDP/abs/html/io-redirection.html.

Für weitere Informationen zur Anzeige von Informationen, die durch Skriptaktionen protokolliert werden, siehe Problembehandlung bei Skriptaktionen.

Dateien als ASCII mit LF-Zeilenenden speichern

Bash-Skripte sollten im ASCII-Format gespeichert werden, wobei die Zeilen durch LF beendet werden. Dateien, die als UTF-8 gespeichert wurden, oder die CRLF als Zeilenende verwenden, schlagen möglicherweise mit folgendem Fehler fehl:

$'\r': command not found
line 1: #!/usr/bin/env: No such file or directory

Verwenden Sie Wiederholungslogik, um sich von vorübergehenden Fehlern zu erholen

Wenn Sie Dateien herunterladen, Pakete mit apt-get installieren oder andere Aktionen ausführen, die Daten über das Internet übertragen, kann die Aktion aufgrund vorübergehender Netzwerkfehler fehlschlagen. Zum Beispiel könnte die entfernte Ressource, mit der du kommunizierst, gerade auf einen Backup-Knoten übergehen.

Um dein Skript widerstandsfähig gegen vorübergehende Fehler zu machen, kannst du eine Retry-Logik implementieren. Die folgende Funktion zeigt, wie man die Wiederholungslogik implementiert. Der Vorgang wird dreimal wiederholt, bevor er fehlschlägt.

#retry
MAXATTEMPTS=3

retry() {
    local -r CMD="$@"
    local -i ATTMEPTNUM=1
    local -i RETRYINTERVAL=2

    until $CMD
    do
        if (( ATTMEPTNUM == MAXATTEMPTS ))
        then
                echo "Attempt $ATTMEPTNUM failed. no more attempts left."
                return 1
        else
                echo "Attempt $ATTMEPTNUM failed! Retrying in $RETRYINTERVAL seconds..."
                sleep $(( RETRYINTERVAL ))
                ATTMEPTNUM=$ATTMEPTNUM+1
        fi
    done
}

Die folgenden Beispiele zeigen, wie diese Funktion verwendet wird.

retry ls -ltr foo

retry wget -O ./tmpfile.sh https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh

Helfermethoden für benutzerdefinierte Skripte

Script-Action Helper-Methoden sind Tools, die du beim Schreiben benutzerdefinierter Skripte verwenden kannst. Diese Methoden sind im Skript https://hdiconfigactions.blob.core.windows.net/linuxconfigactionmodulev01/HDInsightUtilities-v01.sh enthalten. Verwenden Sie Folgendes, um sie herunterzuladen und als Teil Ihres Skripts zu verwenden:

# Import the helper method module.
wget -O /tmp/HDInsightUtilities-v01.sh -q https://hdiconfigactions.blob.core.windows.net/linuxconfigactionmodulev01/HDInsightUtilities-v01.sh && source /tmp/HDInsightUtilities-v01.sh && rm -f /tmp/HDInsightUtilities-v01.sh

Die folgenden Helfer stehen Ihnen in Ihrem Skript zur Verfügung:

Hilfsprogramm Description
download_file SOURCEURL DESTFILEPATH [OVERWRITE] Lädt eine Datei von der Quell-URI auf den angegebenen Dateipfad herunter. Standardmäßig überschreibt es keine bestehende Datei.
untar_file TARFILE DESTDIR Extrahiert eine TAR-Datei (mit -xf) in das Zielverzeichnis
test_is_headnode Wenn das Skript auf einem Cluster-Head-Knoten lief, gib 1 zurück; ansonsten 0.
test_is_datanode Wenn der aktuelle Knoten ein Daten-(Worker-)Knoten ist, gib eine 1 zurück; ansonsten 0.
test_is_first_datanode Ist der aktuelle Knoten der erste Daten- (Arbeiter-)Knoten (genannt Workernode0), gib eine 1 zurück; ansonsten 0.
get_headnodes Gib den vollständig qualifizierten Domainnamen der Headnodes im Cluster zurück. Die Namen sind durch Kommas getrennt. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben.
get_primary_headnode Erhält den vollständig qualifizierten Domainnamen des primären Headnodes. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben.
get_secondary_headnode Erhält den vollständig qualifizierten Domainnamen des sekundären Headnodes. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben.
get_primary_headnode_number Erhält das numerische Suffix des primären Kopfknotens. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben.
get_secondary_headnode_number Erhält das numerische Suffix des sekundären Kopfknotens. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben.

Allgemeine Verwendungsmuster

Dieser Abschnitt gibt Hinweise zur Implementierung einiger der gängigen Nutzungsmuster, auf die Sie beim Schreiben Ihres eigenen Skripts stoßen könnten.

Parameterübermittlung an ein Skript

In manchen Fällen benötigt Ihr Skript Parameter. Zum Beispiel benötigen Sie möglicherweise das Admin-Passwort für den Cluster, wenn Sie die Ambari REST API verwenden.

Parameter, die an das Skript übergeben werden, werden als Positionsparameter bezeichnet und dem ersten Parameter als $2, dem zweiten als $1 und so weiter zugewiesen. $0 enthält den Namen des Skripts selbst.

Werte, die als Parameter an das Skript übergeben werden, sollten durch einzelne Anführungszeichen (') eingeschlossen sein. Dadurch wird sichergestellt, dass der übergebene Wert als Literal behandelt wird.

Festlegen von Umgebungsvariablen

Das Setzen einer Umgebungsvariable erfolgt durch folgende Anweisung:

VARIABLENAME=value

Im vorherigen Beispiel ist VARIABLENAME der Name der Variablen. Um auf die Variable zuzugreifen, verwenden Sie $VARIABLENAME. Verwenden Sie beispielsweise folgende Anweisung, um einen Wert, der von einem Positionsparameter bereitgestellt wird, als Umgebungsvariable mit dem Namen „PASSWORD“ zuzuweisen:

PASSWORD=$1

Anschließend könnte mit $PASSWORD auf die Informationen zugegriffen werden.

Umgebungsvariablen, die im Skript gesetzt werden, existieren nur im Gültigkeitsbereich des Skripts. In manchen Fällen müssen Sie systemweite Umgebungsvariablen hinzufügen, die nach Abschluss des Skripts erhalten bleiben. Um systemweite Umgebungsvariablen hinzuzufügen, fügen Sie die Variable zu /etc/environment hinzu. Zum Beispiel fügt die folgende Aussage Folgendes hinzu: HADOOP_CONF_DIR

echo "HADOOP_CONF_DIR=/etc/hadoop/conf" | sudo tee -a /etc/environment

Zugriff auf Orte, an denen die benutzerdefinierten Skripte gespeichert sind

Skripte, die zur Anpassung eines Clusters verwendet werden, müssen an einem der folgenden Orte gespeichert werden:

  • Ein Azure Storage-Konto, das mit dem Cluster verknüpft ist.

  • Ein zusätzliches Speicherkonto , das mit dem Cluster verknüpft ist.

  • Eine öffentlich lesbare URI. Zum Beispiel eine URL zu Daten, die auf OneDrive, Dropbox oder einem anderen Dateihosting-Dienst gespeichert sind.

  • Ein Azure Data Lake Storage-Konto, das mit dem HDInsight-Cluster verknüpft ist. Für weitere Informationen zur Nutzung von Azure Data Lake Storage mit HDInsight siehe Quickstart: Set up clusters in HDInsight.

    Note

    Der Dienstprinzipal, den HDInsight zum Zugriff auf Data Lake Storage verwendet, muss Lesezugriff auf das Skript haben.

Die vom Skript verwendeten Ressourcen müssen ebenfalls öffentlich zugänglich sein.

Durch das Speichern von Dateien in einem Azure Storage-Konto oder in Azure Data Lake Storage erhalten Sie schnellen Zugriff, da sich beide innerhalb des Azure-Netzwerks befinden.

Note

Das URI-Format, das zur Referenz des Skripts verwendet wird, variiert je nach verwendetem Dienst. Für Speicherkonten, die mit dem HDInsight-Cluster verknüpft sind, verwenden Sie wasb:// oder wasbs://. Für öffentlich lesbare URIs verwenden Sie http:// oder https://. Für Data Lake Storage verwenden Sie adl://.

Checkliste zum Deployen einer Skriptaktion

Hier sind die Schritte, die Sie bei der Vorbereitung der Bereitstellung eines Skripts ausführen sollten:

  • Legen Sie die Dateien, die die benutzerdefinierten Skripte enthalten, an einem Ort ab, der für die Cluster-Knoten während der Bereitstellung zugänglich ist. Beispielsweise der Standardspeicher für den Cluster. Dateien können auch in öffentlich lesbaren Hosting-Diensten gespeichert werden.
  • Überprüfen Sie, ob das Skript idempotent ist. Dadurch kann das Skript mehrfach auf demselben Knoten ausgeführt werden.
  • Nutze ein temporäres Dateiverzeichnis /tmp, um die von den Skripten verwendeten heruntergeladenen Dateien zu behalten und sie dann nach Ausführung der Skripte zu bereinigen.
  • Wenn Betriebssystem-Einstellungen oder Hadoop-Service-Konfigurationsdateien geändert werden, sollten Sie HDInsight-Dienste neu starten.

Wie man eine Skriptaktion ausführt

Sie können Skriptaktionen verwenden, um HDInsight-Cluster mit folgenden Methoden anzupassen:

  • Azure portal
  • Azure PowerShell
  • Azure Resource Manager-Vorlagen
  • Das .NET-SDK für HDInsight.

Weitere Informationen zur Nutzung jeder Methode finden Sie unter Verwendung von Skriptaktionen.

Beispiele für benutzerdefinierte Skripte

Microsoft stellt Beispielskripte bereit, um Komponenten auf einem HDInsight-Cluster zu installieren. Unter Installieren und Verwenden von Hue in HDInsight-Clustern finden Sie eine Beispielskriptaktion.

Troubleshooting

Im Folgenden sind Fehler, auf die Sie bei der Verwendung von von Ihnen entwickelten Skripten stoßen könnten:

Fehler: $'\r': command not found. Manchmal gefolgt von syntax error: unexpected end of file.

Ursache: Dieser Fehler entsteht, wenn die Zeilen in einem Skript mit CRLF enden. Unix-Systeme erwarten nur LF als Zeilenende.

Dieses Problem tritt am häufigsten auf, wenn das Skript in einer Windows-Umgebung erstellt wird, da CRLF ein gängiges Zeilenending für viele Texteditoren unter Windows ist.

Lösung: Wenn es in deinem Texteditor eine entsprechende Option gibt, wähle für das Zeilenende das Unix-Format oder LF. Sie können auch folgende Befehle auf einem Unix-System verwenden, um das CRLF in ein LF umzuwandeln:

Note

Die folgenden Befehle sind ungefähr äquivalent, da sie die CRLF-Zeilenenden in LF ändern sollten. Wählen Sie eine Option basierend auf den auf Ihrem System verfügbaren Dienstprogrammen.

Command Notizen
unix2dos -b INFILE Die Originaldatei wird mit einer . BAK-Erweiterung gesichert.
tr -d '\r' < INFILE > OUTFILE OUTFILE enthält eine Version mit nur LF-Endungen
perl -pi -e 's/\r\n/\n/g' INFILE Verändert die Datei direkt
sed 's/$'"/`echo \\\r`/" INFILE > OUTFILE OUTFILE enthält eine Version mit nur LF-Endungen.

Fehler: line 1: #!/usr/bin/env: No such file or directory.

Ursache: Dieser Fehler tritt auf, wenn das Skript als UTF-8 mit einem Byte Order Mark (BOM) gespeichert wurde.

Lösung: Speichern Sie die Datei entweder im ASCII-Format oder im UTF-8-Format ohne BOM. Du kannst auch den folgenden Befehl auf einem Linux- oder Unix-System verwenden, um eine Datei ohne die BOM zu erstellen:

awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE

Ersetzen Sie INFILE durch die Datei, die die BOM enthält. OUTFILE sollte ein neuer Dateiname sein, der das Skript ohne BOM enthält.

Nächste Schritte