遷移 AKS 自動叢集與管理系統節點池

適用於: ✔️ AKS 自動化 ✔️ AKS 標準

本文將介紹如何在支援的 管理系統節點池 與 AKS 標準配置之間遷移 AKS 自動叢集。

支援的遷移路徑

遷移路徑 Support
具有受控系統節點集區的 AKS 自動系統到 AKS 標準 (base SKU) Supported
AKS 自動版無管理系統節點池,轉為 AKS 自動版,包含受管理系統節點池 在受控系統節點集區正式發行的區域,提供預覽版支援
AKS 標準 (base SKU) 到具有受控系統節點集區的 AKS 自動系統 在受控系統節點集區正式發行的區域,提供預覽版支援
AKS 自動版(含管理系統節點池)轉為 AKS 自動版(不含管理系統節點池) 不支援

透過使用受管理的系統節點集區,AKS 會為你佈建、調整規模並升級系統節點集區與系統元件,並使其與你的工作負載隔離開來。 AKS 自動叢集同時也受 Pod 就緒 SLA 與運作時間 SLA 保障。 欲了解更多資訊,請參閱 AKS 自動叢集(含受控系統節點集區)概觀。

從帶有管理系統節點池的 AKS 自動叢集遷移到 AKS 標準叢集

遷移運作方式

具有受控系統節點集區的 AKS Automatic 叢集,會在由 AKS 為您佈建、調整規模及升級的系統節點集區上執行其系統元件。

Important

AKS 標準(base SKU)叢集不會啟用受管理系統節點池,因此你必須負責運行、管理及升級系統節點池及系統元件。

要從 AKS Automatic 遷移到 AKS Standard,請完成以下高層次步驟:

  1. 在你的 AKS 自動叢集中新增一個自我管理的系統節點池。
  2. 將叢集 SKU 從 automatic 更新為 base。

更新 SKU 後,叢集會以 AKS 標準叢集形式執行,系統元件則會在你新增和管理的系統節點池上執行。

遷移到 AKS Standard 叢集

  1. 使用 az aks nodepool add 指令將自我管理的系統節點池加入你現有的 AKS 自動叢集。 將節點池模式設為 System 遷移後能執行系統元件。

    az aks nodepool add \
        --resource-group "${RESOURCE_GROUP}" \
        --cluster-name "${RESOURCE_NAME}" \
        --name systempool \
        --mode System \
        --node-count 3
    
  2. 用automatic指令將叢集 SKU 從 base 到 az aks update 更新。

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --sku base
    

確認移轉

  1. 請透過指令base確認叢集現在是否使用該 az aks show SKU。

    az aks show \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --query "sku" \
        --output table
    
  2. 使用 az aks nodepool list 指令列出叢集上的節點集區,確認自行管理的系統節點集區存在,且處於 System 模式。

    az aks nodepool list \
        --resource-group "${RESOURCE_GROUP}" \
        --cluster-name "${RESOURCE_NAME}" \
        --query "[].{Name:name, Mode:mode, Count:count}" \
        --output table
    

從沒有受管理系統節點池的 AKS 自動叢集遷移到 AKS 自動叢集,並有受管理系統節點池(預覽版)

AKS 自動系統支援在受控系統節點集區已正式發行的區域中,將預覽版從非受控系統節點集區移轉至受控系統節點集區。 此遷移會將叢集保留在 automatic SKU 上,並將 AKS 系統元件移至 AKS 管理的系統節點池。

先決條件

Important

AKS 預覽功能以自助方式提供,並採選擇加入制。 預覽版本係依「現狀」及「可用情況」提供,且不適用於服務等級協定與有限保固。 客戶支援部門會盡最大努力,部分支援 AKS 預覽。 因此,這些功能不適合實際執行用途。 如需詳細資訊,請參閱下列支援文章:

  • 一個現有的 AKS 自動叢集,沒有管理系統的節點池。
  • Azure CLI 版本 2.86.0 或更後版本。 若要尋找版本,請執行 az --version。 如果您需要安裝或升級,請參閱 安裝 Azure CLI。
  • 最新版本的 aks-preview Azure CLI 擴充功能。
  • Microsoft.ContainerService/NonHoboToHoboConversionPreview功能標記已登記在你的訂閱中。

使用NonHoboToHoboConversionPreview命令註冊az feature register功能旗標:

az feature register \
    --namespace Microsoft.ContainerService \
    --name NonHoboToHoboConversionPreview

請使用以下 az feature show 指令查詢註冊狀態:

az feature show \
    --namespace Microsoft.ContainerService \
    --name NonHoboToHoboConversionPreview \
    --query properties.state \
    --output tsv

等指令回來 Registered 再繼續。 接著,重新整理 Microsoft.ContainerService 資源提供者註冊。

az provider register --namespace Microsoft.ContainerService

安裝或更新 aks-preview 擴充功能:

az extension add --name aks-preview
az extension update --name aks-preview

遷移由 AKS 管理的虛擬網路叢集

對於使用 AKS 管理的網路的 AKS 自動叢集,請使用含有 --enable-hosted-system 參數的 az aks update 命令,遷移至受控系統節點集區:

az aks update \
    --resource-group "${RESOURCE_GROUP}" \
    --name "${RESOURCE_NAME}" \
    --enable-hosted-system

遷移自訂虛擬網路叢集

對於使用自訂虛擬網路的 AKS 自動叢集,請透過參數 --system-node-subnet-id 為管理系統節點池提供子網路。 系統節點子網路必須:

  • 必須與叢集處於同一個虛擬網路和區域。
  • 至少要為 /26。
  • 不得委派給其他服務。
  • 需與節點子網路不同。

參數 --node-subnet-id 是選擇性的。 如果未提供,AKS 會使用現有的系統節點集區子網路。

az aks update \
    --resource-group "${RESOURCE_GROUP}" \
    --name "${RESOURCE_NAME}" \
    --enable-hosted-system \
    --system-node-subnet-id "${SYSTEM_NODE_SUBNET_ID}" \
    --node-subnet-id "${NODE_SUBNET_ID}"

確認移轉

透過以下 az aks show 指令確認叢集使用受管理系統節點池:

az aks show \
    --resource-group "${RESOURCE_GROUP}" \
    --name "${RESOURCE_NAME}" \
    --query hostedSystemProfile \
    --output json

以下範例輸出顯示 hostedSystemProfile.enabled 屬性設定為 true:

{
  "enabled": true,
  "nodeSubnetId": "<node-subnet-resource-id>",
  "systemNodeSubnetId": "<system-node-subnet-resource-id>"
}

從 AKS Standard 叢集遷移到具有受控系統節點集區的 AKS Automatic 叢集(預覽版)

AKS 支援在受控系統節點集區正式推出的區域中,將 AKS Standard(base SKU)叢集預覽移轉成使用受控系統節點集區的 AKS Automatic 叢集。

要遷移,首先你要將 AKS Standard 叢集設定為與 AKS Automatic 配置一致,然後更新叢集 SKU。 大部分工作都在準備叢集。 請依序完成下列各節,因為有些設定必須先完成其他設定才能進行。

開始之前

Important

AKS 預覽功能以自助方式提供,並採選擇加入制。 預覽版本係依「現狀」及「可用情況」提供,且不適用於服務等級協定與有限保固。 客戶支援部門會盡最大努力,部分支援 AKS 預覽。 因此,這些功能不適合實際執行用途。 如需詳細資訊,請參閱下列支援文章:

為叢集設定環境變數:

export RESOURCE_GROUP="<resource-group>"
export RESOURCE_NAME="<cluster-name>"
export NODE_RESOURCE_GROUP=$(az aks show --resource-group "${RESOURCE_GROUP}" --name "${RESOURCE_NAME}" --query nodeResourceGroup --output tsv)

移轉需求

在你更新 SKU 之前,你的叢集必須符合以下要求。 部分需求會因你的叢集使用由 AKS 管理的虛擬網路或自訂虛擬網路而有所不同。 你可以透過 Azure 入口網站、Azure CLI、ARM 範本或其他工具來設定這些設定。 本文其餘部分會依您應套用的順序,顯示 Azure CLI 步驟。

需求 必須設定 深入了解
叢集層 標準 AKS 定價等級
負載平衡器 SKU 標準 以出站類型自訂叢集出口
外寄類型 AKS 管理的虛擬網路:受管理的 NAT 閘道器(StandardV2)。 loadBalancer外發類型不支援。
自訂虛擬網路:任何對外連線類型。
叢集建立後更新 outboundType
叢集身份 由 AKS 管理的虛擬網路:系統指派的受控識別。
自訂虛擬網路:在虛擬網路上具有 網路參與者角色的使用者指派受控身分識別。
使用使用者指派的受控身分識別
API Server VNet 整合 已啟用,且在與節點同一個虛擬網路中設置專用 API 伺服器子網路 將現有的 AKS Standard 叢集轉換為 API Server VNet 整合
網路外掛 Azure CNI Overlay(在azure外掛程式的 overlay模式中) 將IPAM模式更新為Azure CNI Overlay
網路資料平面與網路原則 Cilium Azure CNI Powered by Cilium
節點配置模式 自動 節點自動配置
系統節點池作業系統 SKU Azure Linux 使用 Azure Linux 容器主機
系統節點池 SSH 存取 Disabled 管理 AKS 叢集節點的 SSH 存取
系統節點池作業系統磁碟 暫時 AKS 中的臨時作業系統磁碟
Azure 原則 附加元件 已啟用 使用 Azure 原則
Azure Key Vault Secrets Provider add-on 已啟用,並開啟祕密輪替 使用 Secrets Store CSI Driver
自動升級通道 群組: stable
Node OS: NodeImage
自動升級 AKS 叢集
工作負載身分識別與 OIDC 簽發者 已啟用 使用 Microsoft Entra 工作負載 ID
Microsoft Entra 整合與 Azure RBAC 已啟用 Microsoft Entra 整合
本機帳戶 Disabled 使用Microsoft Entra整合管理本地帳戶
圖片清理工具 已啟用 影像清潔器
垂直 Pod 自動調整程式 已啟用 垂直 Pod 自動調整
KEDA 已啟用 KEDA
節點資源群組鎖定 ReadOnly 節點資源群組鎖定

規劃移轉

  1. 判斷你的叢集是使用 AKS 管理的虛擬網路還是自訂虛擬網路。 如果以下指令回傳虛擬網路名稱,表示你的叢集使用由 AKS 管理的虛擬網路。 如果沒有回傳,代表你的叢集使用自訂的虛擬網路。

    az network vnet list --resource-group "${NODE_RESOURCE_GROUP}" --query "[].name" --output tsv
    

    本文中的幾個步驟會根據你的虛擬網路類型有所不同。

  2. 檢查你叢集目前的網路外掛、出站類型、負載平衡器的 SKU,以及節點資源群組的限制等級:

    az aks show \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --query "{networkPlugin:networkProfile.networkPlugin, networkPluginMode:networkProfile.networkPluginMode, outboundType:networkProfile.outboundType, loadBalancerSku:networkProfile.loadBalancerSku, nrgRestrictionLevel:nodeResourceGroupProfile.restrictionLevel}" \
        --output table
    
    • 網路外掛程式:必須為 azure,且外掛模式為 overlay。 如果你的叢集使用 kubenet 或 Azure CNI(沒有 Overlay),請先更新為 Azure CNI Overlay 再繼續。 欲了解更多資訊,請參閱將 IPAM 模式更新為 Azure CNI Overlay。
    • 負載平衡器 SKU:必須是 standard。 如果你的叢集還在使用 basic,就用 az aks update --load-balancer-sku standard 更新它。
    • 節點資源群組限制等級:對於由 AKS 管理的虛擬網路,你需要在節點資源群組中建立子網路。 如果限制層級為ReadOnly,請先將其設為Unrestricted,再繼續操作。 你會在後面的步驟再鎖定一次。
  3. 檢視干擾正在運行工作負載或存取的變更,並規劃維護時段:

    • 更改出站類型會改變叢集的出口 IP 位址。 更新允許來自叢集的流量的防火牆規則。
    • 啟用 API Server VNet 整合會改變 API 伺服器的 IP 位址,並需要叢集重新啟動。 此變更是永久性的。
    • 變更網路資料平面、OS SKU 及 SSH 存取設定會重新安裝節點的映像。
    • 關閉本地帳號會移除靜態的 kubeconfig 憑證。 在停用它們之前,請確保你有透過 Microsoft Entra ID 和 Azure RBAC 角色(例如 Azure Kubernetes Service RBAC Cluster Admin)取得存取權限。
    • 遷移可在符合基線 Pod 安全標準的 Enforce 模式下啟用部署安全措施。 不符合規定的部署會被拒絕。 你可以排除命名空間,但無法將叢集範圍層級切換成 Warn。 遷移前先檢視你的工作負載。 欲了解更多資訊,請參閱 使用部署保障措施。

準備叢集網路

  1. 出站類型:對於由 AKS 管理的虛擬網路,出站類型必須是受管理的 NAT 閘道。 loadBalancer外發類型不支援。 如有需要,請更新出站類型:

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --outbound-type managedNATGateway \
        --outbound-type-sku StandardV2
    

    若為自訂虛擬網路,則支援任何輸出類型,且無需變更。 欲了解更多資訊,請參閱 叢集建立後更新 outboundType。

  2. 叢集身份:對於由 AKS 管理的虛擬網路,保留叢集系統指派的管理身份。 若為自訂虛擬網路,叢集必須使用在虛擬網路上具有網路參與者角色的使用者指派受控身分識別。 視需要指派身分識別:

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --enable-managed-identity \
        --assign-identity "${IDENTITY_RESOURCE_ID}" \
        --yes
    

    將 IDENTITY_RESOURCE_ID 替換為您使用者指派的受控識別資源 ID。 欲了解更多資訊,請參閱 使用使用者指派的受控識別。

  3. API 伺服器子網:在與節點相同的虛擬網路中為 API 伺服器建立專屬子網。 子網路必須與您的節點子網路分開、至少為/28,且委派給Microsoft.ContainerService/managedClusters。

    對於由 AKS 管理的虛擬網路,請在節點資源群組中的虛擬網路內建立子網路:

    export VNET_NAME=$(az network vnet list --resource-group "${NODE_RESOURCE_GROUP}" --query "[0].name" --output tsv)
    
    export APISERVER_SUBNET_ID=$(az network vnet subnet create \
        --resource-group "${NODE_RESOURCE_GROUP}" \
        --vnet-name "${VNET_NAME}" \
        --name apiserver-subnet \
        --address-prefixes "<unused-address-range>" \
        --delegations Microsoft.ContainerService/managedClusters \
        --query id --output tsv)
    

    若是自訂虛擬網路,請在自己的虛擬網路中建立子網路,並設定 APISERVER_SUBNET_ID 為其資源 ID。

  4. API Server VNet 整合:啟用 API Server VNet 與你建立的子網路整合,然後重新啟動叢集:

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --enable-apiserver-vnet-integration \
        --apiserver-subnet-id "${APISERVER_SUBNET_ID}"
    
    az aks stop --resource-group "${RESOURCE_GROUP}" --name "${RESOURCE_NAME}"
    az aks start --resource-group "${RESOURCE_GROUP}" --name "${RESOURCE_NAME}"
    

    欲了解更多資訊,請參閱 將現有 AKS Standard 叢集轉換為 API Server VNet 整合。

  5. 網路資料平面:將網路資料平面更新為 Cilium。 此指令同時將網路政策設定為 Cilium。

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --network-dataplane cilium
    

    更多資訊請參閱 Azure CNI 由 Cilium 驅動。

Important

在下一節啟用自動節點配置模式之前,先更新網路資料平面。 啟用自動模式後,你就無法更改網路資料平面。

準備系統節點池與節點佈建

  1. 臨時作業系統磁碟:系統節點池必須使用臨時作業系統磁碟。 檢查目前作業系統的磁碟類型:

    az aks nodepool list \
        --resource-group "${RESOURCE_GROUP}" \
        --cluster-name "${RESOURCE_NAME}" \
        --query "[?mode=='System'].{name:name, osDiskType:osDiskType}" \
        --output table
    

    你無法更改現有節點池的作業系統磁碟類型。 如果您的系統節點集區使用Managed OS 磁碟,請新增系統節點集區,並搭配--mode System --node-osdisk-type Ephemeral --os-sku AzureLinux --ssh-access disabled,,將系統工作負載移至該節點集區,然後刪除舊的節點集區。 這樣你就可以跳過下一步。

  2. 作業系統 SKU 與 SSH 存取:更新系統節點池以使用 Azure Linux,並停用 SSH 存取:

    az aks nodepool update \
        --resource-group "${RESOURCE_GROUP}" \
        --cluster-name "${RESOURCE_NAME}" \
        --name "<system-node-pool-name>" \
        --os-sku AzureLinux \
        --ssh-access disabled \
        --yes
    

    此命令會重新安裝節點集區的映像。 等它完成後再對節點池做其他更改。 欲了解更多資訊,請參閱使用 Azure Linux 容器主機及管理 AKS 叢集節點的 SSH 存取。

  3. 節點配置模式:啟用自動節點配置模式:

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --node-provisioning-mode Auto
    

    啟用自動模式後,除非先移除所有自動配置的節點,否則無法回復到手動模式。 欲了解更多資訊,請參閱 節點自動配置。

啟用所需功能與附加元件

  1. 將叢集層級更新為 Standard,並啟用 Azure 原則與 Azure Key Vault 祕密提供者附加元件,同時開啟祕密輪替:

    az aks update --resource-group "${RESOURCE_GROUP}" --name "${RESOURCE_NAME}" --tier standard
    
    az aks enable-addons \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --addons azure-policy,azure-keyvault-secrets-provider \
        --enable-secret-rotation
    
  2. 啟用剩餘的必要功能:

    az aks update \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --auto-upgrade-channel stable \
        --node-os-upgrade-channel NodeImage \
        --enable-workload-identity \
        --enable-oidc-issuer \
        --enable-aad \
        --enable-azure-rbac \
        --disable-local-accounts \
        --enable-image-cleaner \
        --enable-vpa \
        --enable-keda \
        --yes
    

鎖定節點資源群組

將節點資源群組限制等級設為 ReadOnly。 這步驟要最後做,因為 lockdown 會阻擋節點資源群組中對資源的變更,包括你之前建立的 API 伺服器子網路。

az aks update \
    --resource-group "${RESOURCE_GROUP}" \
    --name "${RESOURCE_NAME}" \
    --nrg-lockdown-restriction-level ReadOnly

更多資訊請參閱節點資源群組鎖定。

將叢集遷移到 AKS Automatic

若仍有未達成需求,遷移指令會失敗並列出未達成的需求。 有些檢查只會在先前檢查通過後執行,因此請解決列出的項目,並重複執行指令直到成功。

AKS 管理的虛擬網路

az aks update \
    --resource-group "${RESOURCE_GROUP}" \
    --name "${RESOURCE_NAME}" \
    --sku automatic \
    --enable-hosted-system

自訂虛擬網路

利用 --system-node-subnet-id 參數為受管理系統節點池提供子網路。 關於子網路需求,請參見 將現有的 AKS 自動叢集遷移至受管理系統節點池。 參數 --node-subnet-id 是選擇性的。 如果未提供,AKS 會使用現有的系統節點集區子網路。

az aks update \
    --resource-group "${RESOURCE_GROUP}" \
    --name "${RESOURCE_NAME}" \
    --sku automatic \
    --enable-hosted-system \
    --system-node-subnet-id "${SYSTEM_NODE_SUBNET_ID}" \
    --node-subnet-id "${NODE_SUBNET_ID}"

確認移轉

  1. 確認叢集使用 automatic SKU 和 Standard 等級,且更新已成功完成:

    az aks show \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --query "{sku:sku, provisioningState:provisioningState}" \
        --output json
    

    確認 sku.name 是 Automatic,sku.tier是 Standard,且 provisioningState 是 Succeeded。

  2. 確認叢集使用受管理系統節點池:

    az aks show \
        --resource-group "${RESOURCE_GROUP}" \
        --name "${RESOURCE_NAME}" \
        --query hostedSystemProfile \
        --output json
    

    確認 hostedSystemProfile.enabled 為 true。 如果是自訂虛擬網路,systemNodeSubnetId 與 nodeSubnetId 會顯示你的子網路資源 ID。 若為 AKS 受控虛擬網路,這些值為null。

  3. 取得叢集的憑證,並確認所有節點都處於 Ready 狀態:

    az aks get-credentials --resource-group "${RESOURCE_GROUP}" --name "${RESOURCE_NAME}"
    kubectl get nodes -o wide
    

故障行為

如果移轉無法佈建受控系統集區基礎結構(例如因為區域容量限制),AKS 會將現有的系統與使用者節點集區保留在移轉前狀態。