AKS 上的 Pod 沙箱化會使用 Kata Containers,讓每個受沙箱隔離的 Pod 都在各自的輕量虛擬機(VM)中執行,並擁有自己的客體核心。 此計算邊界將工作負載與主機核心及其他 Pod 虛擬機的工作負載隔離。 欲了解其架構、優點及使用案例,請參閱 Azure Kubernetes Service (AKS) 中 Pod 沙盒概述。
在本文中,你會在新的或現有的 Azure Linux AKS 叢集上部署 Pod 沙盒,部署帶有 Kata 執行環境的應用程式,並可選擇性地驗證核心隔離。
先決條件
- Azure CLI 版本 2.80.0 或更新版本。 跑去
az --version找你的 Azure CLI 版本,然後跑去az upgrade升級。 更多細節請參閱 安裝 Azure CLI 的步驟。 - AKS 在 Kubernetes 1.27.0 及更新版本中支援 Pod 沙箱化。
- 要管理 Kubernetes 叢集,請使用 Kubernetes 命令列客戶端
kubectl。 Azure Cloud Shell 隨附於kubectl。 你可以用這個kubectl指令在本地安裝az aks install-cli。
限制
以下限制條件適用於 Pod 沙箱功能:
- Kata 容器可能無法達到傳統容器在 Azure 檔案儲存體 和高效能本地 SSD 上所能達到的 IOPS 效能限制。
- 適用於容器的 Microsoft Defender 不支援評估 Kata 執行階段 Pod。
- Kata 不支援主機網路存取。 你無法直接從虛擬機內部存取主機網路設定。
- Pod 沙箱機制的 CPU 與記憶體配置與
runc不同。 每個 Kata pod 都在一個 Pod VM 中執行,其固定記憶體大小取決於 pod 的記憶體限制;如果未指定限制,則預設為 512Mi。 CPU 限制會決定 Pod VM 的 vCPU 配置,而小數限制會針對該配置進位為整數 vCPU。 如需更多資訊,請參閱 Pod 沙箱化注意事項。 - 只有 Azure Linux 支援 Pod 沙箱化。 Ubuntu 和 Windows 都不支援。 欲了解更多資訊,請參閱 適用於 AKS 的 Azure Linux 容器主機。
- 你無法對使用 Pod 沙箱機制的節點集區啟用 聯邦資訊處理標準 (FIPS) 或 受信任啟動。 如需更多資訊,請參閱 Pod 沙箱化注意事項。
- 使用 Pod 沙盒的節點池不支援 Arm64 架構。
運作方式
AKS 上的 Pod 沙箱化是以開源的 Kata Containers 專案為基礎。 在 AKS 的 Azure Linux 容器主機上執行的 Kata Containers 可提供以虛擬機器為基礎的隔離機制,並讓每個 Pod 各自使用獨立的核心。 Pod 沙箱允許你為每個 pod 分配資源,且不會與其他 Kata 容器或同一主機上運行的命名空間容器共享資源。
解決方案架構基於以下主要組件:
- 適用於 AKS 的 Azure Linux 容器主機
- Microsoft Hyper-V 虛擬機管理程式
- 開放原始碼 Cloud-Hypervisor 虛擬機器監視器 (VMM)
- 執行階段與 Kata Containers 的整合
使用 Kata 容器部署 Pod 沙盒與標準 containerd 容器部署工作流程相似。 啟用 Pod 沙箱的叢集會附帶一個特定的執行時類別,你可以在 Pod 清單中參考 (runtimeClassName: kata-vm-isolation)。 欲了解更多關於執行時類別預設與自訂的資訊,請參閱 Pod 沙盒的考量。
要在 pod 上使用此功能,唯一的差別是要在 pod 規格中加入 runtimeClassNamekata-vm-isolation。當 pod 使用 kata-vm-isolation runtimeClass,虛擬機管理程式會啟動一個帶有自身核心的輕量虛擬機,供工作負載運作。
用 Pod 沙盒建立叢集
執行下列步驟,以使用 Azure CLI 部署 Azure Linux AKS 叢集。
透過執行
az aks create以下參數的指令建立 AKS 叢集:參數 必填值 Notes --workload-runtimeKataVmIsolation在節點池上啟用 Pod 沙盒。 --os-skuAzureLinuxPod 沙箱化僅支援 Azure Linux OS SKU。 --node-vm-size支援巢狀虛擬化的第二代虛擬機容量 例如,使用 Dsv3 系列 的虛擬機器大小。 --node-count3為此範例建立三個節點。 根據你的工作量調整這個數值。 以下範例建立一個名為 myAKSCluster 的叢集, myResourceGroup 中有三個節點:
az aks create \ --name myAKSCluster \ --resource-group myResourceGroup \ --os-sku AzureLinux \ --workload-runtime KataVmIsolation \ --node-vm-size Standard_D4s_v3 \ --node-count 3 \ --generate-ssh-keys執行下列命令,取得 Kube 叢集的存取認證。 使用指令
az aks get-credentials並替換叢集名稱和資源群組名稱的值。az aks get-credentials --resource-group myResourceGroup --name myAKSCluster透過執行
kubectl get pods指令,列出所有命名空間中的 Pods。kubectl get pods --all-namespaces
在現有叢集中啟用 Pod 沙箱化
若要將這項功能與現有的 AKS 叢集搭配使用,必須符合下列需求:
叢集運行的是 Kubernetes 版本 1.27.0 或更高版本。
請使用以下指令建立用於承載 Pod 沙箱功能的節點集區,以啟用 Pod 沙箱功能。
使用帶有下列參數的
az aks nodepool add命令,將節點集區新增至 AKS 叢集:參數 必填值 Notes --resource-group包含現有 AKS 叢集的資源群組 例如,使用 myResourceGroup。--cluster-name現有AKS群組的名稱 例如,使用 myAKSCluster。--name唯一節點集區名稱 例如,使用 nodepool2。--workload-runtimeKataVmIsolation在節點池上啟用 Pod 沙盒。 --os-skuAzureLinuxPod 沙箱化僅支援 Azure Linux OS SKU。 --node-vm-size支援巢狀虛擬化的第二代虛擬機容量 例如,使用 Dsv3 系列 的虛擬機器大小。 --node-count1為此範例建立一個節點。 根據你的工作量調整這個數值。 下列範例會將節點集區新增至 myAKSCluster,其中一個節點位於 myResourceGroup 中的 nodepool2:
az aks nodepool add --cluster-name myAKSCluster --resource-group myResourceGroup --name nodepool2 --os-sku AzureLinux --workload-runtime KataVmIsolation --node-vm-size Standard_D4s_v3 --node-count 1執行
az aks update指令來對照叢集設定,讓叢集能辨識新的節點池與KataVmIsolation工作負載執行時。az aks update --name myAKSCluster --resource-group myResourceGroup確認叢集更新是否成功完成,且 Pod 沙盒節點池是否使用預期的工作負載執行時、作業系統 SKU 和虛擬機大小。
az aks show \ --name myAKSCluster \ --resource-group myResourceGroup \ --query provisioningState \ --output tsv az aks nodepool show \ --cluster-name myAKSCluster \ --resource-group myResourceGroup \ --name nodepool2 \ --query "{workloadRuntime:workloadRuntime, osSKU:osSKU, vmSize:vmSize}" \ --output table叢集配置狀態應該是
Succeeded。 節點池輸出應該會顯示KataVmIsolation、AzureLinux,以及你選擇的虛擬機大小。
使用 Pod 沙盒部署應用程式
透過 Pod 沙箱化,你可以同時部署不使用 Kata 執行階段的標準 Pod,以及使用該執行階段的 Kata Pod。 Kata Pod 會在其 Pod 規格中指定 runtimeClassName: kata-vm-isolation。
執行階段類別會選取 Kata 執行階段,但當您需要讓工作負載在特定的 Pod 沙箱節點集區上執行時,也應該定義排程約束。 例如,在 nodeSelector 中使用內建的 AKS 節點集區標籤。 請將 nodepool2 替換為你的 Pod 沙箱節點集區名稱。
spec:
runtimeClassName: kata-vm-isolation
nodeSelector:
kubernetes.azure.com/agentpool: nodepool2
為了實現更嚴格的隔離,你可以為 Pod 沙箱節點集區設定污點,並為 Kata 工作負載新增相符的容忍設定。 沒有相符容忍設定的污點會使其他工作負載無法排程到該節點集區。 如需詳細資訊,請參閱 在 AKS 叢集中使用節點污點。
部署使用 Kata 執行時的應用程式
要在你的 AKS 叢集上部署帶有 Kata 執行時的 pod,請執行以下步驟。
建立一個名為 kata-app.yaml 的檔案來描述你的 Kata Pod,然後貼上以下清單。
kind: Pod apiVersion: v1 metadata: name: isolated-pod spec: runtimeClassName: kata-vm-isolation containers: - name: kata image: mcr.microsoft.com/aks/fundamental/base-ubuntu:v0.0.11 command: ["/bin/sh", "-ec", "while :; do echo '.'; sleep 5 ; done"]runtimeClassName的 Pod 規格值為kata-vm-isolation。透過執行
kubectl apply指令部署 Kubernetes Pod,並指定你的 kata-app.yaml 檔案:kubectl apply -f kata-app.yaml此命令的輸出與下列範例類似:
pod/isolated-pod created
驗證核心隔離(可選)
- 若要比較 Kata 與非 Kata Pod 的核心,請建立一個名為 normal-app.yaml 的檔案。 以下清單定義了不含 Kata 執行時間的標準 pod:
kind: Pod
apiVersion: v1
metadata:
name: normal-pod
spec:
containers:
- name: non-kata
image: mcr.microsoft.com/aks/fundamental/base-ubuntu:v0.0.11
command: ["/bin/sh", "-ec", "while :; do echo '.'; sleep 5 ; done"]
使用指令部署標準艙
kubectl apply。kubectl apply -f normal-app.yaml要存取 AKS 叢集內的容器,請執行
kubectl exec該指令啟動 shell 會話。 在這個例子中,你正在存取隔離 艙內的容器。kubectl exec -it isolated-pod -- /bin/shKubectl 連接你的叢集,運行
/bin/sh在第一個容器內isolated-pod,並將終端機的輸入和輸出串流轉發給容器的程序。 您也可以啟動一個殼層工作階段,進入裝載非 Kata Pod 的容器查看差異。從 isolated-pod 啟動容器的 shell 工作階段後,執行指令以確認 kata 容器是否在 pod 沙箱中執行。 它的核心版本與沙盒外的非 Kata 容器不同。
若要查看核心版本,請執行下列命令:
uname -r下列範例類似於 Pod 沙箱核心的輸出:
[user]/# uname -r 6.6.96.mshv1從 normal-pod 開始對容器的 shell 會話以驗證核心輸出:
kubectl exec -it normal-pod -- /bin/bash若要查看核心版本,請執行下列命令:
uname -r以下範例類似執行 normal-pod 的虛擬機輸出,而 normal-pod 的核心與 pod 沙盒內運行的 Kata Pod 不同:
6.6.100.mshv1-1.azl3
清理資源
評估完此功能後,清理不再需要的資源以避免 Azure 費用。 如果你在評估或測試時部署了新叢集,請執行以下
az aks delete指令刪除該 AKS 叢集。az aks delete --resource-group myResourceGroup --name myAKSCluster如果你在現有叢集上部署了 Pod 沙盒,可以用這個
kubectl delete pod指令移除這些 Pods。kubectl get pods kubectl delete pod <kata-pod-name>要移除 Pod 沙盒運算資源,也可以用指令
az aks nodepool delete刪除 Kata 節點池。 在刪除節點池之前,先確定沒有你想保留的工作負載在上面運行。az aks nodepool delete \ --cluster-name myAKSCluster \ --resource-group myResourceGroup \ --name nodepool2
後續步驟
- 深入了解具有 AKS 叢集之節點的 Azure 專用主機,以使用硬體隔離和控制 Azure 平台維護事件。
- 如果想進一步了解 Pod 沙盒隔離,並探索相關的工作負載情境,請試用 Pod 沙盒實驗室。