Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Lerne, wie du deinen HDInsight-Cluster mit Bash-Skripten anpassen kannst. Skriptaktionen sind eine Möglichkeit, HDInsight während oder nach der Clustererstellung anzupassen.
Was sind Skriptaktionen?
Skriptaktionen sind Bash-Skripte, die Azure auf den Cluster-Knoten ausführt, um Konfigurationsänderungen vorzunehmen oder Software zu installieren. Eine Skriptaktion wird als Root ausgeführt und gewährt den Clusterknoten volle Zugriffsrechte.
Skriptaktionen können mit folgenden Methoden ausgeführt werden:
| Verwenden Sie diese Methode, um ein Skript anzuwenden... | Während der Clusterbildung... | Auf einem laufenden Cluster... |
|---|---|---|
| Azure portal | ✓ | ✓ |
| Azure PowerShell | ✓ | ✓ |
| Azure Classic CLI | ✓ | |
| HDInsight .NET SDK | ✓ | ✓ |
| Azure Resource Manager-Vorlage | ✓ |
Weitere Informationen zur Anwendung dieser Methoden zur Anwendung von Skriptaktionen finden Sie unter Anpassen von HDInsight-Clustern mit Skriptaktionen.
Best Practices für die Skriptentwicklung
Wenn Sie ein individuelles Skript für einen HDInsight-Cluster entwickeln, gibt es mehrere Best Practices, die Sie beachten sollten:
- Apache Hadoop-Version festlegen
- OS-Version als Ziel festlegen
- Stabile Links zu Skriptressourcen bereitstellen
- Verwenden Sie vorkompilierte Ressourcen
- Stellen Sie sicher, dass das Cluster-Anpassungsskript idempotent ist
- Sicherstellen Sie eine hohe Verfügbarkeit der Clusterarchitektur
- Konfigurieren Sie die benutzerdefinierten Komponenten so, dass sie Azure Blob Storage verwenden
- Schreibe Informationen an STDOUT und STDERR
- Dateien als ASCII mit LF-Zeilenenden speichern
- Verwenden Sie Retry-Logik, um sich von vorübergehenden Fehlern zu erholen
Important
Skriptaktionen müssen innerhalb von 60 Minuten abgeschlossen sein, sonst schlägt der Prozess fehl. Während der Knotenbereitstellung läuft das Skript gleichzeitig mit anderen Einrichtungs- und Konfigurationsprozessen. Der Wettbewerb um Ressourcen wie CPU-Zeit oder Netzwerkbandbreite kann dazu führen, dass es länger als in Ihrer Entwicklungsumgebung dauert, bis das Skript abgeschlossen ist.
Auswählen der Apache Hadoop-Version
Verschiedene Versionen von HDInsight haben unterschiedliche Versionen von Hadoop-Diensten und -Komponenten installiert. Wenn Ihr Skript eine bestimmte Version eines Dienstes oder einer Komponente erwartet, sollten Sie das Skript nur mit der HDInsight-Version verwenden, die die erforderlichen Komponenten enthält. Informationen zu Komponentenversionen, die in HDInsight enthalten sind, finden Sie im Dokument „HDInsight-Komponentenversionierung“.
Überprüfung der Betriebssystemversion
Verschiedene Versionen von HDInsight basieren auf spezifischen Versionen von Ubuntu. Es kann Unterschiede zwischen den Betriebssystemversionen geben, auf die du in deinem Skript achten musst. Zum Beispiel musst du vielleicht eine Binärdatei installieren, die an die Ubuntu-Version gebunden ist.
Um die OS-Version zu überprüfen, verwenden Sie lsb_release. Zum Beispiel zeigt das folgende Skript, wie man je nach OS-Version auf eine bestimmte tar-Datei referenzieren kann:
OS_VERSION=$(lsb_release -sr)
if [[ $OS_VERSION == 14* ]]; then
echo "OS version is $OS_VERSION. Using hue-binaries-14-04."
HUE_TARFILE=hue-binaries-14-04.tgz
elif [[ $OS_VERSION == 16* ]]; then
echo "OS version is $OS_VERSION. Using hue-binaries-16-04."
HUE_TARFILE=hue-binaries-16-04.tgz
fi
Ausrichten auf die Betriebssystemversion
HDInsight basiert auf der Ubuntu-Linux-Distribution. Verschiedene HDInsight-Versionen basieren auf unterschiedlichen Ubuntu-Versionen, was das Verhalten deines Skripts beeinflussen kann. Zum Beispiel basieren HDInsight 3.4 und frühere auf Ubuntu-Versionen, die Upstart verwenden. Die Versionen 3.5 und höher basieren auf Ubuntu 16.04, das Systemd verwendet.
Systemd und Upstart basieren auf unterschiedlichen Befehlen, daher sollte dein Skript so geschrieben sein, dass es mit beiden funktioniert.
Ein weiterer wichtiger Unterschied zwischen HDInsight 3.4 und 3.5 ist, dass JAVA_HOME jetzt auf Java 8 verweist. Der folgende Code zeigt, wie man feststellt, ob das Skript auf Ubuntu 14 oder 16 läuft:
OS_VERSION=$(lsb_release -sr)
if [[ $OS_VERSION == 14* ]]; then
echo "OS version is $OS_VERSION. Using hue-binaries-14-04."
HUE_TARFILE=hue-binaries-14-04.tgz
elif [[ $OS_VERSION == 16* ]]; then
echo "OS version is $OS_VERSION. Using hue-binaries-16-04."
HUE_TARFILE=hue-binaries-16-04.tgz
fi
...
if [[ $OS_VERSION == 16* ]]; then
echo "Using systemd configuration"
systemctl daemon-reload
systemctl stop webwasb.service
systemctl start webwasb.service
else
echo "Using upstart configuration"
initctl reload-configuration
stop webwasb
start webwasb
fi
...
if [[ $OS_VERSION == 14* ]]; then
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
elif [[ $OS_VERSION == 16* ]]; then
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
fi
Das vollständige Skript, das diese Ausschnitte enthält, findest du unter https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh.
Für die von HDInsight verwendete Ubuntu-Version siehe das Dokument „HDInsight-Komponentenversion“.
Um die Unterschiede zwischen Systemd und Upstart zu verstehen, siehe Systemd für Upstart-Nutzer.
Stabile Links zu Skriptressourcen bereitstellen
Das Skript und die zugehörigen Ressourcen müssen während der gesamten Lebensdauer des Clusters verfügbar bleiben. Diese Ressourcen werden benötigt, wenn während der Skalierungsoperationen neue Knoten zum Cluster hinzugefügt werden.
Die beste Vorgehensweise ist, alles in einem Azure Storage-Konto in deinem Abonnement herunterzuladen und zu archivieren.
Important
Bei dem verwendeten Speicherkonto muss es sich um das Standardspeicherkonto des Clusters oder um einen öffentlichen, schreibgeschützten Container eines anderen Speicherkontos handeln.
Die von Microsoft bereitgestellten Beispiele sind beispielsweise im Speicherkonto https://hdiconfigactions.blob.core.windows.net/ gespeichert. Dieser Standort ist ein öffentlicher, nur lesbarer Container, der vom HDInsight-Team gepflegt wird.
Verwenden Sie vorkompilierte Ressourcen
Zur Verringerung des Zeitraums, der für die Ausführung des Skripts benötigt wird, sollten Sie Vorgänge vermeiden, mit denen Ressourcen aus dem Quellcode kompiliert werden. Zum Beispiel können Sie Ressourcen vorkompilieren und in einem Azure Storage-Konto-Blob im selben Rechenzentrum wie HDInsight speichern.
Stellen Sie sicher, dass das Cluster-Anpassungsskript idempotent ist
Skripte müssen idempotent sein. Wenn das Skript mehrfach ausgeführt wird, sollte es den Cluster jedes Mal in denselben Zustand zurücksetzen.
Wenn das Skript mehrfach ausgeführt wird, sollte das Skript, das Konfigurationsdateien ändert, keine doppelten Einträge hinzufügen.
Stellen Sie eine hohe Verfügbarkeit der Clusterarchitektur sicher
Linux-basierte HDInsight-Cluster stellen zwei aktive Hauptknoten im Cluster bereit, und Skriptaktionen werden auf beiden Knoten ausgeführt. Wenn die Komponenten, die du installierst, nur einen Headknoten erwarten, installiere die Komponenten nicht auf beiden Headknoten.
Important
Dienste, die im Rahmen von HDInsight bereitgestellt werden, wurden entwickelt, um bei Bedarf ein Failover zwischen den beiden Hauptknoten auszuführen. Diese Funktionalität gilt nicht für benutzerdefinierte Komponenten, die durch Skriptaktionen installiert werden. Wenn du hohe Verfügbarkeit für benutzerdefinierte Komponenten brauchst, musst du deinen eigenen Failover-Mechanismus implementieren.
Konfigurieren Sie die benutzerdefinierten Komponenten so, dass sie Azure Blob Storage verwenden
Komponenten, die du im Cluster installierst, könnten eine Standardkonfiguration haben, die den Speicher von Apache Hadoop Distributed File System (HDFS) verwendet. HDInsight verwendet entweder Azure Storage oder Data Lake Storage als Standardspeicher. Beide bieten ein HDFS-kompatibles Dateisystem, das Daten auch dann speichert, wenn der Cluster gelöscht wird. Möglicherweise musst du die von dir installierten Komponenten so konfigurieren, dass sie WASB oder ADL statt HDFS verwenden.
Für die meisten Operationen musst du das Dateisystem nicht angeben. Zum Beispiel kopiert Folgendes die hadoop-common.jar Datei vom lokalen Dateisystem in den Clusterspeicher:
hdfs dfs -put /usr/hdp/current/hadoop-client/hadoop-common.jar /example/jars/
In diesem Beispiel verwendet der hdfs Befehl transparent den Standard-Clusterspeicher. Für einige Operationen müssen Sie möglicherweise die URI angeben. Zum Beispiel adl:///example/jars für Azure Data Lake Storage Gen1, abfs:///example/jars für Data Lake Storage Gen2 oder wasb:///example/jars für Azure Storage.
Schreibe Informationen an STDOUT und STDERR
HDInsight protokolliert die Skriptausgabe, die in STDOUT und STDERR geschrieben wird. Sie können diese Informationen über die Ambari-Weboberfläche ansehen.
Note
Apache Ambari ist nur verfügbar, wenn der Cluster erfolgreich erstellt wurde. Wenn Sie während der Clustererstellung eine Skriptaktion verwenden und die Erstellung fehlschlägt, siehe Problembehandlung für Skriptaktionen für andere Möglichkeiten, auf die protokollierten Informationen zuzugreifen.
Die meisten Dienstprogramme und Installationspakete schreiben bereits Informationen in STDOUT und STDERR. Möglicherweise möchten Sie jedoch weitere Protokollierungsinformationen hinzufügen. Um Text an STDOUT zu senden, benutze echo. Beispiele:
echo "Getting ready to install Foo"
Standardmäßig sendet echo den String an STDOUT. Um es auf STDERR zu lenken, füge echo vor >&2 hinzu. Beispiele:
>&2 echo "An error occurred installing Foo"
Dadurch werden Informationen, die an STDOUT geschrieben wurden, stattdessen an STDERR (2) weitergeleitet. Weitere Informationen zur IO-Umleitung finden Sie unter https://www.tldp.org/LDP/abs/html/io-redirection.html.
Für weitere Informationen zur Anzeige von Informationen, die durch Skriptaktionen protokolliert werden, siehe Problembehandlung bei Skriptaktionen.
Dateien als ASCII mit LF-Zeilenenden speichern
Bash-Skripte sollten im ASCII-Format gespeichert werden, wobei die Zeilen durch LF beendet werden. Dateien, die als UTF-8 gespeichert wurden, oder die CRLF als Zeilenende verwenden, schlagen möglicherweise mit folgendem Fehler fehl:
$'\r': command not found
line 1: #!/usr/bin/env: No such file or directory
Verwenden Sie Wiederholungslogik, um sich von vorübergehenden Fehlern zu erholen
Wenn Sie Dateien herunterladen, Pakete mit apt-get installieren oder andere Aktionen ausführen, die Daten über das Internet übertragen, kann die Aktion aufgrund vorübergehender Netzwerkfehler fehlschlagen. Zum Beispiel könnte die entfernte Ressource, mit der du kommunizierst, gerade auf einen Backup-Knoten übergehen.
Um dein Skript widerstandsfähig gegen vorübergehende Fehler zu machen, kannst du eine Retry-Logik implementieren. Die folgende Funktion zeigt, wie man die Wiederholungslogik implementiert. Der Vorgang wird dreimal wiederholt, bevor er fehlschlägt.
#retry
MAXATTEMPTS=3
retry() {
local -r CMD="$@"
local -i ATTMEPTNUM=1
local -i RETRYINTERVAL=2
until $CMD
do
if (( ATTMEPTNUM == MAXATTEMPTS ))
then
echo "Attempt $ATTMEPTNUM failed. no more attempts left."
return 1
else
echo "Attempt $ATTMEPTNUM failed! Retrying in $RETRYINTERVAL seconds..."
sleep $(( RETRYINTERVAL ))
ATTMEPTNUM=$ATTMEPTNUM+1
fi
done
}
Die folgenden Beispiele zeigen, wie diese Funktion verwendet wird.
retry ls -ltr foo
retry wget -O ./tmpfile.sh https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
Helfermethoden für benutzerdefinierte Skripte
Script-Action Helper-Methoden sind Tools, die du beim Schreiben benutzerdefinierter Skripte verwenden kannst. Diese Methoden sind im Skript https://hdiconfigactions.blob.core.windows.net/linuxconfigactionmodulev01/HDInsightUtilities-v01.sh enthalten. Verwenden Sie Folgendes, um sie herunterzuladen und als Teil Ihres Skripts zu verwenden:
# Import the helper method module.
wget -O /tmp/HDInsightUtilities-v01.sh -q https://hdiconfigactions.blob.core.windows.net/linuxconfigactionmodulev01/HDInsightUtilities-v01.sh && source /tmp/HDInsightUtilities-v01.sh && rm -f /tmp/HDInsightUtilities-v01.sh
Die folgenden Helfer stehen Ihnen in Ihrem Skript zur Verfügung:
| Hilfsprogramm | Description |
|---|---|
download_file SOURCEURL DESTFILEPATH [OVERWRITE] |
Lädt eine Datei von der Quell-URI auf den angegebenen Dateipfad herunter. Standardmäßig überschreibt es keine bestehende Datei. |
untar_file TARFILE DESTDIR |
Extrahiert eine TAR-Datei (mit -xf) in das Zielverzeichnis |
test_is_headnode |
Wenn das Skript auf einem Cluster-Head-Knoten lief, gib 1 zurück; ansonsten 0. |
test_is_datanode |
Wenn der aktuelle Knoten ein Daten-(Worker-)Knoten ist, gib eine 1 zurück; ansonsten 0. |
test_is_first_datanode |
Ist der aktuelle Knoten der erste Daten- (Arbeiter-)Knoten (genannt Workernode0), gib eine 1 zurück; ansonsten 0. |
get_headnodes |
Gib den vollständig qualifizierten Domainnamen der Headnodes im Cluster zurück. Die Namen sind durch Kommas getrennt. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben. |
get_primary_headnode |
Erhält den vollständig qualifizierten Domainnamen des primären Headnodes. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben. |
get_secondary_headnode |
Erhält den vollständig qualifizierten Domainnamen des sekundären Headnodes. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben. |
get_primary_headnode_number |
Erhält das numerische Suffix des primären Kopfknotens. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben. |
get_secondary_headnode_number |
Erhält das numerische Suffix des sekundären Kopfknotens. Eine leere Zeichenkette wird bei einem Fehler zurückgegeben. |
Allgemeine Verwendungsmuster
Dieser Abschnitt gibt Hinweise zur Implementierung einiger der gängigen Nutzungsmuster, auf die Sie beim Schreiben Ihres eigenen Skripts stoßen könnten.
Parameterübermittlung an ein Skript
In manchen Fällen benötigt Ihr Skript Parameter. Zum Beispiel benötigen Sie möglicherweise das Admin-Passwort für den Cluster, wenn Sie die Ambari REST API verwenden.
Parameter, die an das Skript übergeben werden, werden als Positionsparameter bezeichnet und dem ersten Parameter als $2, dem zweiten als $1 und so weiter zugewiesen.
$0 enthält den Namen des Skripts selbst.
Werte, die als Parameter an das Skript übergeben werden, sollten durch einzelne Anführungszeichen (') eingeschlossen sein. Dadurch wird sichergestellt, dass der übergebene Wert als Literal behandelt wird.
Festlegen von Umgebungsvariablen
Das Setzen einer Umgebungsvariable erfolgt durch folgende Anweisung:
VARIABLENAME=value
Im vorherigen Beispiel ist VARIABLENAME der Name der Variablen. Um auf die Variable zuzugreifen, verwenden Sie $VARIABLENAME. Verwenden Sie beispielsweise folgende Anweisung, um einen Wert, der von einem Positionsparameter bereitgestellt wird, als Umgebungsvariable mit dem Namen „PASSWORD“ zuzuweisen:
PASSWORD=$1
Anschließend könnte mit $PASSWORD auf die Informationen zugegriffen werden.
Umgebungsvariablen, die im Skript gesetzt werden, existieren nur im Gültigkeitsbereich des Skripts. In manchen Fällen müssen Sie systemweite Umgebungsvariablen hinzufügen, die nach Abschluss des Skripts erhalten bleiben. Um systemweite Umgebungsvariablen hinzuzufügen, fügen Sie die Variable zu /etc/environment hinzu. Zum Beispiel fügt die folgende Aussage Folgendes hinzu: HADOOP_CONF_DIR
echo "HADOOP_CONF_DIR=/etc/hadoop/conf" | sudo tee -a /etc/environment
Zugriff auf Orte, an denen die benutzerdefinierten Skripte gespeichert sind
Skripte, die zur Anpassung eines Clusters verwendet werden, müssen an einem der folgenden Orte gespeichert werden:
Ein Azure Storage-Konto, das mit dem Cluster verknüpft ist.
Ein zusätzliches Speicherkonto , das mit dem Cluster verknüpft ist.
Eine öffentlich lesbare URI. Zum Beispiel eine URL zu Daten, die auf OneDrive, Dropbox oder einem anderen Dateihosting-Dienst gespeichert sind.
Ein Azure Data Lake Storage-Konto, das mit dem HDInsight-Cluster verknüpft ist. Für weitere Informationen zur Nutzung von Azure Data Lake Storage mit HDInsight siehe Quickstart: Set up clusters in HDInsight.
Note
Der Dienstprinzipal, den HDInsight zum Zugriff auf Data Lake Storage verwendet, muss Lesezugriff auf das Skript haben.
Die vom Skript verwendeten Ressourcen müssen ebenfalls öffentlich zugänglich sein.
Durch das Speichern von Dateien in einem Azure Storage-Konto oder in Azure Data Lake Storage erhalten Sie schnellen Zugriff, da sich beide innerhalb des Azure-Netzwerks befinden.
Note
Das URI-Format, das zur Referenz des Skripts verwendet wird, variiert je nach verwendetem Dienst. Für Speicherkonten, die mit dem HDInsight-Cluster verknüpft sind, verwenden Sie wasb:// oder wasbs://. Für öffentlich lesbare URIs verwenden Sie http:// oder https://. Für Data Lake Storage verwenden Sie adl://.
Checkliste zum Deployen einer Skriptaktion
Hier sind die Schritte, die Sie bei der Vorbereitung der Bereitstellung eines Skripts ausführen sollten:
- Legen Sie die Dateien, die die benutzerdefinierten Skripte enthalten, an einem Ort ab, der für die Cluster-Knoten während der Bereitstellung zugänglich ist. Beispielsweise der Standardspeicher für den Cluster. Dateien können auch in öffentlich lesbaren Hosting-Diensten gespeichert werden.
- Überprüfen Sie, ob das Skript idempotent ist. Dadurch kann das Skript mehrfach auf demselben Knoten ausgeführt werden.
- Nutze ein temporäres Dateiverzeichnis /tmp, um die von den Skripten verwendeten heruntergeladenen Dateien zu behalten und sie dann nach Ausführung der Skripte zu bereinigen.
- Wenn Betriebssystem-Einstellungen oder Hadoop-Service-Konfigurationsdateien geändert werden, sollten Sie HDInsight-Dienste neu starten.
Wie man eine Skriptaktion ausführt
Sie können Skriptaktionen verwenden, um HDInsight-Cluster mit folgenden Methoden anzupassen:
- Azure portal
- Azure PowerShell
- Azure Resource Manager-Vorlagen
- Das .NET-SDK für HDInsight.
Weitere Informationen zur Nutzung jeder Methode finden Sie unter Verwendung von Skriptaktionen.
Beispiele für benutzerdefinierte Skripte
Microsoft stellt Beispielskripte bereit, um Komponenten auf einem HDInsight-Cluster zu installieren. Unter Installieren und Verwenden von Hue in HDInsight-Clustern finden Sie eine Beispielskriptaktion.
Troubleshooting
Im Folgenden sind Fehler, auf die Sie bei der Verwendung von von Ihnen entwickelten Skripten stoßen könnten:
Fehler: $'\r': command not found. Manchmal gefolgt von syntax error: unexpected end of file.
Ursache: Dieser Fehler entsteht, wenn die Zeilen in einem Skript mit CRLF enden. Unix-Systeme erwarten nur LF als Zeilenende.
Dieses Problem tritt am häufigsten auf, wenn das Skript in einer Windows-Umgebung erstellt wird, da CRLF ein gängiges Zeilenending für viele Texteditoren unter Windows ist.
Lösung: Wenn es in deinem Texteditor eine entsprechende Option gibt, wähle für das Zeilenende das Unix-Format oder LF. Sie können auch folgende Befehle auf einem Unix-System verwenden, um das CRLF in ein LF umzuwandeln:
Note
Die folgenden Befehle sind ungefähr äquivalent, da sie die CRLF-Zeilenenden in LF ändern sollten. Wählen Sie eine Option basierend auf den auf Ihrem System verfügbaren Dienstprogrammen.
| Command | Notizen |
|---|---|
unix2dos -b INFILE |
Die Originaldatei wird mit einer . BAK-Erweiterung gesichert. |
tr -d '\r' < INFILE > OUTFILE |
OUTFILE enthält eine Version mit nur LF-Endungen |
perl -pi -e 's/\r\n/\n/g' INFILE |
Verändert die Datei direkt |
sed 's/$'"/`echo \\\r`/" INFILE > OUTFILE |
OUTFILE enthält eine Version mit nur LF-Endungen. |
Fehler: line 1: #!/usr/bin/env: No such file or directory.
Ursache: Dieser Fehler tritt auf, wenn das Skript als UTF-8 mit einem Byte Order Mark (BOM) gespeichert wurde.
Lösung: Speichern Sie die Datei entweder im ASCII-Format oder im UTF-8-Format ohne BOM. Du kannst auch den folgenden Befehl auf einem Linux- oder Unix-System verwenden, um eine Datei ohne die BOM zu erstellen:
awk 'NR==1{sub(/^\xef\xbb\xbf/,"")}{print}' INFILE > OUTFILE
Ersetzen Sie INFILE durch die Datei, die die BOM enthält.
OUTFILE sollte ein neuer Dateiname sein, der das Skript ohne BOM enthält.
Nächste Schritte
- Lernen Sie, wie Sie HDInsight-Cluster mithilfe von Skriptaktionen anpassen können
- Verwenden Sie die HDInsight .NET SDK-Referenz, um mehr über die Erstellung von .NET-Anwendungen zu erfahren, die HDInsight verwalten
- Nutzen Sie die HDInsight REST API , um zu lernen, wie man REST nutzt, um Managementaktionen auf HDInsight-Clustern durchzuführen.