排除阻礙 Azure Kubernetes Service 節點佈建的 CSE 錯誤

總結

本文將協助你排除自訂腳本擴充(CSE)錯誤,這些錯誤會阻止 Azure Kubernetes Service (AKS) 配置新節點。 識別 CSE 結束代碼並解決失敗,使新的虛擬機器擴展集執行個體註冊為 AKS 節點。

必要條件

請確保你已安裝 Azure CLI,且已更新到最新版本。 用 az --version 來檢查已安裝的版本。

徵兆

新配置的虛擬機 Scale Set 實例不會註冊為 AKS 節點。 在節點池擴展操作後,你可能會發現 虛擬機器擴展集 實例數量增加,而 Kubernetes 節點數量則保持不變。

如果啟用叢集自動縮放器,可能會在一段時間後移除未註冊的 虛擬機器擴展集 實例。

Troubleshooting

要找出原因,請從受影響的 虛擬機器擴展集 實例取得 CSE 的退出碼。

請使用 Azure CLI 執行以下步驟:

  1. 設定 AKS 叢集的變數。

    export RG_NAME="<cluster-resource-group>"
    export CLUSTER_NAME="<cluster-name>"
    
    export NODE_RG=$(az aks show \
      --resource-group "$RG_NAME" \
      --name "$CLUSTER_NAME" \
      --query nodeResourceGroup \
      --output tsv)
    
    export API_FQDN=$(az aks show \
      --resource-group "$RG_NAME" \
      --name "$CLUSTER_NAME" \
      --query fqdn \
      --output tsv)
    
  2. 列出節點資源組中的虛擬機規模集,並識別受影響節點池的虛擬機規模集。

    az vmss list \
      --resource-group "$NODE_RG" \
      --query "[].{Name:name,Capacity:sku.capacity,ProvisioningState:provisioningState}" \
      --output table
    
    export VMSS_NAME="<affected-vmss-name>"
    
  3. 找到受影響的 虛擬機器擴展集 實例的實例 ID,並匯出該值。

    export INSTANCE_ID="<affected-vmss-instance-id>"
    
  4. 從受影響的實例中取得 CSE 狀態。

    az vmss get-instance-view \
      --resource-group "$NODE_RG" \
      --name "$VMSS_NAME" \
      --instance-id "$INSTANCE_ID" \
      --query "extensions[?name=='vmssCSE'].statuses[].{
        ExtensionState:code,
        Details:message
      }" \
      --output json
    

    以下是範例輸出。

     [
       {
         "ExtensionState": "ProvisioningState/failed/0",
         "Details": "failed to execute command: command terminated with exit status=1\n[stdout]\n{ \"ExitCode\": \"51\", \"Output\": \"... Failed to connect to <AKS API server FQDN> port 443: Connection timed out ... API server connection check code: 51 ... exit 51\", ... }\n\n[stderr]\n..."
       }
     ]
    

退出碼會標示導致配置失敗的特定問題。 在前述範例中,CSE 回傳出口碼 51,表示 Kubernetes API 伺服器存在連線問題。

其他出口代碼的映射,請參見 CSE助手。

解決方案:測試並修正 API 伺服器網路逾時問題

確保 API 伺服器可從受影響的 虛擬機器擴展集 實例存取。 請檢查以下網路配置:

  • 檢查與 AKS 子網路相關的網路安全群組(NSG)是否阻擋了 TCP 埠 443 上 API 伺服器 IP 位址的外出流量。
  • 檢查是否有額外的 NSG 與 虛擬機器擴展集 網路介面相關聯。 每個適用的 NSG 都必須允許透過 TCP 連接埠 443 連往 API 伺服器 IP 位址的輸出流量。
  • 檢查外出流量路徑中是否有防火牆或網路虛擬設備(NVA)。 你通常透過與 AKS 節點子網相關的路由表來設定 NVA。 確保防火牆或 NVA 允許經由 TCP 連接埠 443 傳送至 API 伺服器 IP 位址的輸出流量。 如需詳細資訊,請參閱控制 AKS 中叢集節點的輸出流量。

要測試從 虛擬機器擴展集 實例到 API 伺服器的連線,請使用 Azure CLI 執行以下指令。

az vmss run-command invoke \
  --resource-group "$NODE_RG" \
  --name "$VMSS_NAME" \
  --instance-id "$INSTANCE_ID" \
  --command-id RunShellScript \
  --scripts '
API_FQDN="'"$API_FQDN"'"

echo "=== DNS resolution ==="
getent ahostsv4 "$API_FQDN" |
  awk '"'"'NR==1 {print "Resolved IP: " $1}'"'"'

echo "=== TCP connectivity ==="
if timeout 10 bash -c "</dev/tcp/$API_FQDN/443"; then
  echo "TCP 443: connected"
else
  echo "TCP 443: failed"
fi

echo "=== HTTPS response ==="
curl -sS -k \
  --connect-timeout 10 \
  --max-time 15 \
  --output /dev/null \
  --write-out \
"HTTP status: %{http_code}
Remote IP: %{remote_ip}
Connect time: %{time_connect}s
TLS time: %{time_appconnect}s
" \
  "https://$API_FQDN/"
' \
  --query "value[0].message" \
  --output tsv

此指令測試網域名稱系統(DNS)解析、傳輸控制協定(TCP)連線性及HTTPS連線性。 若連接成功,輸出應類似以下範例。

Enable succeeded:
[stdout]
=== DNS resolution ===
Resolved IP: 172.199.220.208
=== TCP connectivity ===
TCP 443: connected
=== HTTPS response ===
HTTP status: 401
Remote IP: 172.199.220.208
Connect time: 0.018883s
TLS time: 0.058870s

[stderr]

預期會有 HTTP 401 回應,因為請求中不包含認證憑證。 回應確認 DNS 解析、TCP 連線及 TLS 握手均成功,且 API 伺服器可被聯繫。

如果連線超時,輸出應該會像以下範例一樣。

Enable succeeded:
[stdout]
=== DNS resolution ===
Resolved IP: 20.238.162.102
=== TCP connectivity ===
TCP 443: failed
=== HTTPS response ===
HTTP status: 000
Remote IP:
Connect time: 0.000000s
TLS time: 0.000000s

[stderr]
curl: (28) Connection timeout after 10000 ms

如果連線逾時,虛擬機器擴展集 實例就無法連接到 TCP 埠 443 的 API 伺服器。 檢查有效的 NSG 規則、使用者自訂路由、防火牆、NVA 及其他可能阻擋連線的網路裝置。

參考資料