Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Zusammenfassung
Dieser Artikel hilft Ihnen bei der Problembehandlung des Fehlers (FehlercodeERR_OUTBOUND_CONN_FAIL, Fehlernummer 50), der OutboundConnFailVMExtensionError beim Erstellen, Starten, Skalieren oder Aktualisieren eines Azure Kubernetes Service (AKS) Clusters auftreten kann. Führen Sie die folgenden Schritte aus, um die ausgehende Verbindung wiederherzustellen, damit die Knotenbereitstellung erfolgreich abgeschlossen werden kann.
Prerequisites
Stellen Sie sicher, dass die folgenden Voraussetzungen installiert und konfiguriert sind:
- Die folgenden Befehlszeilen-Tools Führen Sie diese Tools auf dem AKS-Knoten aus, auf dem sie standardmäßig installiert sind, nicht auf Ihrem lokalen Computer:
- Das Client-URL-Tool (cURL)
- Das Befehlszeilentool Netcat (nc)
- Das Befehlszeilentool "Dig"
-
Azure CLI, wenn Sie keine Verbindung mit dem Knoten mithilfe von SSH herstellen können und stattdessen
run-commanddie Befehle ausführen möchten.
Symptoms
Wenn Sie versuchen, einen AKS-Cluster zu erstellen, zu skalieren oder zu aktualisieren, wird eine Fehlermeldung angezeigt, die dem folgenden Beispiel ähnelt.
Code: OutboundConnFailVMExtensionError
Message: Create or update virtual machine extension /subscriptions/<subscription-id>/resourceGroups/<node-resource-group>/providers/Microsoft.Compute/virtualMachines/<vm-name>/extensions/<extension-name> failed. VM has reported a user failure when processing extension '<extension-name>'. Please correct the error and try again. (publisher 'Microsoft.Azure.Extensions' and type 'CustomScript'). Error code: '2'. Error message: 'failed to execute command: command terminated with exit status=50
[stdout]
{ "ExitCode": "50", "Output": "...
+ retrycmd_if_failure 20 1 15 curl -v --insecure --proxy-insecure https://mcr.microsoft.com/v2/
...
+ exit 50", ... }
[stderr]
{"level":"ERROR","msg":"aks-node-controller failed","error":"provision failed: exitCode=50 ..."}
...
More information on troubleshooting is available at https://aka.ms/VMExtensionCSELinuxTroubleshoot.
Die wichtigsten Indikatoren für diesen Fehler sind der OutboundConnFailVMExtensionError Code, der exit status=50 Wert und der curl Befehl gegenüber https://mcr.microsoft.com/v2/ in der Ausgabe. Der Erweiterungsname hängt vom Knotenpooltyp ab. Beispielsweise verwenden Virtual Machine Scale Sets-Knotenpools vmssCSE, und Virtual Machines-Knotenpools verwenden Namen wie cse-agent-<number>.
Note
Die Fehlerausgabe zeigt den fehlgeschlagenen Befehl an, enthält jedoch nicht die Ausgabe des curl Befehls selbst. Daher zeigt der Fehler nicht an, ob der Fehler auf DNS-, TCP-, TLS- oder HTTP-Ebene aufgetreten ist. Um den genauen Fehlerpunkt zu identifizieren, führen Sie dieselbe Prüfung auf dem Knoten aus, wie im Abschnitt Manuelle Fehlerbehebung beschrieben.
Dieser Fehler kann auch dazu führen, dass die ausgeführten Knoten zu NotReady werden, oder zu Bild-Pullfehlern führen, da die ausgehende Konnektivität von einigen oder allen Knoten in Ihrem Cluster blockiert wird.
Cause
Während der Knotenbereitstellung führt die benutzerdefinierte Skripterweiterung (Custom Script Extension, CSE) eine Verbindungsüberprüfung mit dem Microsoft ContainerRegistrierungsendpunkt (MCR) durch Ausführen von curl -v --insecure --proxy-insecure https://mcr.microsoft.com/v2/. Die Prüfung wird mehrmals erneut versucht. Wenn der Knoten mcr.microsoft.com über HTTPS an Port 443 nicht erreichen kann, wird das CSE mit Code 50 beendet, und die Knotenbereitstellung schlägt fehl.
Diese ausgehende Anforderung gilt für alle AKS-Cluster, unabhängig davon, ob der Cluster öffentlich oder privat ist. Die öffentliche oder private Einstellung steuert nur, wie auf den API-Server zugegriffen wird. Die ausgehende Konnektivität, die für die Knoten erforderlich ist, ändert sich nicht. Die vollständige Liste der Endpunkte und Ports, die AKS-Knoten erreichen müssen, finden Sie unter "Ausgehendes Netzwerk" und "FQDN"-Regeln für Azure Kubernetes Service (AKS) Cluster.
Note
Die CSE-Überprüfung zielt nur auf mcr.microsoft.com. Das Abrufen von Bildern von MCR erfordert jedoch auch Zugriff auf andere Endpunkte, wie z. B. *.data.mcr.microsoft.com. Wenn Sie nur diese anderen Endpunkte blockieren, kann der Knoten erfolgreich bereitgestellt werden, aber Bild-Pulls schlagen später fehl.
Tip
Standardmäßig erfordern AKS-Cluster ausgehenden Zugriff auf die Endpunkte, die in ausgehenden Netzwerk- und FQDN-Regeln für AKS-Cluster aufgeführt sind. Wenn Ihre Umgebung keinen ausgehenden Internetdatenverkehr zulassen darf, sollten Sie einen isolierten AKS-Cluster im Netzwerk in Betracht ziehen. Isolierte Netzwerkcluster rufen die erforderlichen Bilder aus einer privaten Azure Container Registry Instanz ab und erfordern keinen ausgehenden Internetzugriff. Weitere Informationen finden Sie unter Erstellen eines isolierten AKS-Clusters im Netzwerk.
Viele Gründe können ausgehenden Datenverkehr blockieren. Ein guter Ausgangspunkt ist die Ausführung einer Verbindungsanalyse mit Azure Virtual Network Verifier. Durch das Ausführen einer Konnektivitätsanalyse können Sie die Hops innerhalb des Datenverkehrsflusses und alle Fehlkonfigurationen innerhalb von Azure-Netzwerkressourcen visualisieren, die den Datenverkehr blockieren. Um fehler bei ausgehenden Verbindungen manuell zu beheben, können Sie das Secure Shell-Protokoll (SSH) verwenden, um eine Verbindung mit dem Knoten herzustellen. In diesem Abschnitt werden Anweisungen für beide Arten von Untersuchungen behandelt.
Überprüfen, ob Azure-Netzwerkressourcen den Datenverkehr an den Endpunkt blockieren
Um zu überprüfen, ob Azure Netzwerkressourcen den Datenverkehr an den Endpunkt blockieren, führen Sie eine Verbindungsanalyse von Ihren AKS-Clusterknoten mit dem Endpunkt aus, indem Sie das tool Azure Virtual Network Verifier verwenden.
Note
- Azure Virtual Network Verifier kann nicht auf externe oder Drittanbieternetzwerkressourcen zugreifen, z. B. auf eine benutzerdefinierte Firewall. Wenn die Verbindungsanalyse keinen blockierten Datenverkehr erkennt, überprüfen Sie manuell externe Netzwerke, um alle Hops im Datenverkehrsfluss abzudecken.
- Azure Firewall wird nur mithilfe statischer Layer 4-Regeln (Netzwerk) ausgewertet. Anwendungsregeln (FQDN-Filterung) werden nicht ausgewertet. Daher kann die Analyse melden, dass Datenverkehr zulässig ist, obwohl eine Azure Firewall Anwendungsregel sie blockiert. Führen Sie in diesem Fall die Schritte in der Manuellen Problembehandlung aus.
- Azure Virtual Network Verifier ist nur in bestimmten Regionen verfügbar.
- Wechseln Sie im Azure-Portal zu Ihrem Cluster. Wechseln Sie in der Randleiste zu Einstellungen>.
- Suchen Sie den Knotenpool, aus dem Sie eine Verbindungsanalyse ausführen möchten. Wählen Sie den Knotenpool aus, um ihn als Geltungsbereich festzulegen.
- Wählen Sie die Konnektivitätsanalyse (Vorschau) auf der Symbolleiste oben auf der Seite aus. Wenn Sie es nicht sehen, wählen Sie die drei Punkte (...) in der Symbolleiste oben auf der Seite aus, um das erweiterte Menü zu öffnen.
- Wählen Sie als Quelle eine VMSS-Instanz (Virtual Machine Scale Set) aus. Die IP-Quelladressen werden automatisch ausgefüllt.
- Wählen Sie einen öffentlichen Domänennamen/Endpunkt als Ziel für die Analyse aus, z. B.
mcr.microsoft.com. Die Ziel-IP-Adressen werden ebenfalls automatisch aufgefüllt. - Führen Sie die Analyse aus, und warten Sie bis zu 2 Minuten auf die Ergebnisse. Identifizieren Sie im resultierenden Diagramm die zugeordneten Azure-Netzwerkressourcen und den Ort, an dem Datenverkehr blockiert wird. Um die detaillierten Analyseergebnisse anzuzeigen, wählen Sie die Registerkarte JSON-Ausgabe aus oder die Pfeile im Diagramm.
Manuelle Problembehandlung
Wenn das Tool Azure Virtual Network Verifier nicht genügend Einblicke in das Problem bietet, können Sie fehler bei ausgehenden Verbindungen manuell beheben, indem Sie das Secure Shell-Protokoll (SSH) verwenden, um eine Verbindung mit dem Knoten herzustellen. Um die Verbindung herzustellen, befolgen Sie die Anweisungen in "Herstellen einer Verbindung mit Azure Kubernetes Service (AKS)-Clusterknoten zur Wartung oder Problembehandlung". Testen Sie dann die Konnektivität auf dem Cluster, indem Sie die folgenden Schritte ausführen.
Schritt 1: Test der ausgehenden Konnektivität zu MCR
Nachdem Sie eine Verbindung mit dem Knoten hergestellt haben, führen Sie dieselbe Verbindungsüberprüfung aus, die vom CSE ausgeführt wird.
curl -v --insecure --proxy-insecure https://mcr.microsoft.com/v2/
Wenn der Befehl eine HTTP-Antwort zurückgibt (z. B. HTTP/2 200), kann der Knoten MCR erreichen. Wenn der Befehl fehlschlägt, verwenden Sie die Fehlermeldung in der ausführlichen Ausgabe, um zu ermitteln, wo der Datenverkehr blockiert wird. In der folgenden Tabelle sind häufige curl Fehler und ihre wahrscheinlichen Ursachen zusammengefasst.
curl Ausgabe |
Wahrscheinliche Ursache |
|---|---|
Could not resolve host |
DNS-Auflösungsfehler. Überprüfen Sie Ihre DNS-Konfiguration. |
Connection timed out oder Connection refused |
Der Datenverkehr wird auf der Netzwerkebene (Ebene 4) blockiert, z. B. durch eine NSG, eine Routentabelle oder eine Firewall-Netzwerkregel. |
Die TCP-Verbindung ist erfolgreich, aber der TLS-Handshake schlägt fehl, oder die Verbindung wird zurückgesetzt (z. B Connection reset by peer . oder SSL_ERROR_SYSCALL) |
Der Datenverkehr wird auf der Anwendungsebene (Ebene 7) blockiert, z. B. durch eine Firewallanwendungsregel, die nach FQDN filtert, oder durch einen Proxy. |
Um das Problem weiter einzugrenzen, können Sie die DNS-Auflösung und DIE TCP-Konnektivität separat testen.
# Test DNS resolution.
dig mcr.microsoft.com
# Test TCP connectivity on port 443 (layer 4 only).
nc -vz mcr.microsoft.com 443
Important
Der nc Befehl testet nur, ob eine TCP-Verbindung hergestellt werden kann (Ebene 4). Tls oder HTTP (Layer 7) werden nicht getestet. Wenn eine Firewall den Datenverkehr nach FQDN filtert, kann nc erfolgreich sein, obwohl die vom CSE ausgeführte Überprüfung curl fehlschlägt. Verwenden Sie immer den curl Befehl, um die Konnektivität zu bestätigen.
Note
Das CSE wird ausgeführt --insecure mit der curl Option, sodass die TLS-Überprüfung durch eine Firewall oder einen Proxy keinen Fehlercode 50 verursacht. Die TLS-Überprüfung kann jedoch später zu Fehlern beim Pullen von Images führen. Um zu überprüfen, ob die TLS-Inspektion erfolgt, führen Sie den curl Befehl ohne die --insecure Option aus, und stellen Sie sicher, dass das Zertifikat von einer öffentlichen Zertifizierungsstelle ausgestellt wurde.
Wenn Sie nicht über SSH auf den Knoten zugreifen können, können Sie die ausgehende Konnektivität testen, indem Sie den Befehl az vmss run-command invoke für die Instanz der VM-Skalierungsgruppe ausführen.
# Get the VMSS instance IDs.
az vmss list-instances --resource-group <mc-resource-group-name> \
--name <vmss-name> \
--output table
# Use an instance ID to test outbound connectivity.
az vmss run-command invoke --resource-group <mc-resource-group-name> \
--name <vmss-name> \
--command-id RunShellScript \
--instance-id <vmss-instance-id> \
--output json \
--scripts "curl -v --insecure --proxy-insecure https://mcr.microsoft.com/v2/"
Note
Diese Befehle gelten für Virtual Machine Scale Sets, den Standard- und den am häufigsten verwendeten Knotenpooltyp in AKS. Wenn Sie einen Virtual Machines Knotenpool verwenden, passen Sie die Befehle an, um az vm run-command invoke zu verwenden.
Schritt 2: Testen der Konnektivität über einen HTTP-Proxy
Wenn Ihr AKS-Cluster einen HTTP-Proxy verwendet, führen Sie die ncBefehle curlund dig Befehle aus, nachdem Sie eine Verbindung mit dem Knoten hergestellt haben.
# Test connectivity to the proxy server from the AKS node.
nc -vz <http-s-proxy-address> <port>
# Test HTTPS traffic to MCR through an HTTP proxy server.
curl -v --proxy http://<http-proxy-address>:<port>/ --head https://mcr.microsoft.com/v2/
# Test HTTPS traffic to MCR through an HTTPS proxy server.
curl -v --proxy https://<https-proxy-address>:<port>/ --head https://mcr.microsoft.com/v2/
# Test DNS functionality.
dig mcr.microsoft.com
Wenn Sie nicht über SSH auf den Knoten zugreifen können, können Sie dieselben Tests mithilfe des az vmss run-command invoke Befehls für die VM-Skalierungssatzinstanz (oder den az vm run-command invoke Befehl für VM-Knotenpools) ausführen.
# Get the VMSS instance IDs.
az vmss list-instances --resource-group <mc-resource-group-name> \
--name <vmss-name> \
--output table
# Use an instance ID to test HTTPS traffic to MCR through an HTTP proxy server.
az vmss run-command invoke --resource-group <mc-resource-group-name> \
--name <vmss-name> \
--command-id RunShellScript \
--instance-id <vmss-instance-id> \
--output json \
--scripts "curl -v --proxy http://<http-proxy-address>:<port>/ --head https://mcr.microsoft.com/v2/"
# Use an instance ID to test HTTPS traffic to MCR through an HTTPS proxy server.
az vmss run-command invoke --resource-group <mc-resource-group-name> \
--name <vmss-name> \
--command-id RunShellScript \
--instance-id <vmss-instance-id> \
--output json \
--scripts "curl -v --proxy https://<https-proxy-address>:<port>/ --head https://mcr.microsoft.com/v2/"
# Use an instance ID to test DNS functionality.
az vmss run-command invoke --resource-group <mc-resource-group-name> \
--name <vmss-name> \
--command-id RunShellScript \
--instance-id <vmss-instance-id> \
--output json \
--scripts "dig mcr.microsoft.com"
Solution
In der folgenden Tabelle sind spezifische Gründe aufgeführt, warum Datenverkehr blockiert werden kann, und die entsprechende Lösung für jeden Grund.
| Issue | Solution |
|---|---|
| Datenverkehr wird durch Firewallregeln oder eine Netzwerksicherheitsgruppe (NSG) blockiert. | Dieses Problem tritt auf, wenn die erforderlichen AKS-Ports oder vollqualifizierten Domänennamen (FQDNs) durch eine Firewall oder NSG blockiert werden. Stellen Sie sicher, dass diese Ports und FQDNs zulässig sind. Wenn nc erfolgreich ist, curl jedoch fehlschlägt, suchen Sie nach Firewallanwendungsregeln, die den Datenverkehr nach FQDN filtern. Um zu ermitteln, was blockiert ist, überprüfen Sie die Konnektivität, wie im vorherigen Abschnitt Ursache beschrieben. Weitere Informationen zu den erforderlichen AKS-Ports und FQDNs finden Sie unter "Ausgehende Netzwerk- und FQDN-Regeln für Azure Kubernetes Service (AKS)-Cluster.For more information about AKS required ports and FQDNs, see Outbound network and FQDN rules for Azure Kubernetes Service (AKS) clusters. |
| Benutzerdefinierte Routen senden ausgehenden Datenverkehr an eine Firewall oder eine virtuelle Netzwerk-Appliance (NVA), die ihn nicht zulässt | Wenn der Cluster den userDefinedRouting ausgehenden Typ verwendet oder das Knotensubnetz über eine Routentabelle verfügt, die 0.0.0.0/0 Datenverkehr an eine Firewall oder einen NVA sendet, stellen Sie sicher, dass der nächste Hop erreichbar ist und dass er die erforderlichen AKS-FQDNs und Ports zulässt. Weitere Informationen finden Sie unter Anpassen des Cluster-Egress mit Ausgangstypen in AKS. |
| Der HTTP-Proxy ist falsch konfiguriert. | Wenn der Cluster einen HTTP-Proxy verwendet, überprüfen Sie, ob die Proxyadresse und der Port korrekt sind, dass der Proxy über das Knotensubnetz erreichbar ist und dass der Proxy die erforderlichen AKS-FQDNs zulässt. Weitere Informationen finden Sie unter HTTP-Proxyunterstützung in AKS. |
| Benutzerdefinierte DNS-Server können die erforderlichen Endpunkte nicht auflösen | Wenn das virtuelle Netzwerk benutzerdefinierte DNS-Server verwendet, müssen diese Server öffentliche FQDNs wie mcr.microsoft.com auflösen. In der Regel konfigurieren Sie sie so, dass Abfragen an Azure DNS (168.63.129.16) weitergeleitet werden. Bei privaten Clustern müssen die benutzerdefinierten DNS-Server auch die private DNS-Zone des API-Servers auflösen. Weitere Informationen finden Sie unter Was ist IP-Adresse 168.63.129.16? und Erstellen eines privaten AKS-Clusters. |
| DNS-Abfragen für die erforderlichen Endpunkte werden blockiert. | Stellen Sie sicher, dass Ihre Firewall oder Ihr DNS-Proxy KEINE DNS-Abfragen blockiert, einschließlich AAAA(IPv6)-Eintragsabfragen für die erforderlichen Endpunkte. |