使用 Azure Kubernetes Service (AKS) 的 Pod 沙箱隔離

AKS 上的 Pod 沙箱化會使用 Kata Containers,讓每個受沙箱隔離的 Pod 都在各自的輕量虛擬機(VM)中執行,並擁有自己的客體核心。 此計算邊界將工作負載與主機核心及其他 Pod 虛擬機的工作負載隔離。 欲了解其架構、優點及使用案例,請參閱 Azure Kubernetes Service (AKS) 中 Pod 沙盒概述。

在本文中,你會在新的或現有的 Azure Linux AKS 叢集上部署 Pod 沙盒,部署帶有 Kata 執行環境的應用程式,並可選擇性地驗證核心隔離。

先決條件

  • Azure CLI 版本 2.80.0 或更新版本。 跑去 az --version 找你的 Azure CLI 版本,然後跑去 az upgrade 升級。 更多細節請參閱 安裝 Azure CLI 的步驟。
  • AKS 在 Kubernetes 1.27.0 及更新版本中支援 Pod 沙箱化。
  • 要管理 Kubernetes 叢集,請使用 Kubernetes 命令列客戶端 kubectl。 Azure Cloud Shell 隨附於 kubectl。 你可以用這個kubectl指令在本地安裝az aks install-cli。

限制

以下限制條件適用於 Pod 沙箱功能:

  • Kata 容器可能無法達到傳統容器在 Azure 檔案儲存體 和高效能本地 SSD 上所能達到的 IOPS 效能限制。
  • 適用於容器的 Microsoft Defender 不支援評估 Kata 執行階段 Pod。
  • Kata 不支援主機網路存取。 你無法直接從虛擬機內部存取主機網路設定。
  • Pod 沙箱機制的 CPU 與記憶體配置與 runc 不同。 每個 Kata pod 都在一個 Pod VM 中執行,其固定記憶體大小取決於 pod 的記憶體限制;如果未指定限制,則預設為 512Mi。 CPU 限制會決定 Pod VM 的 vCPU 配置,而小數限制會針對該配置進位為整數 vCPU。 如需更多資訊,請參閱 Pod 沙箱化注意事項。
  • 只有 Azure Linux 支援 Pod 沙箱化。 Ubuntu 和 Windows 都不支援。 欲了解更多資訊,請參閱 適用於 AKS 的 Azure Linux 容器主機。
  • 你無法對使用 Pod 沙箱機制的節點集區啟用 聯邦資訊處理標準 (FIPS) 或 受信任啟動。 如需更多資訊,請參閱 Pod 沙箱化注意事項。
  • 使用 Pod 沙盒的節點池不支援 Arm64 架構。

運作方式

AKS 上的 Pod 沙箱化是以開源的 Kata Containers 專案為基礎。 在 AKS 的 Azure Linux 容器主機上執行的 Kata Containers 可提供以虛擬機器為基礎的隔離機制,並讓每個 Pod 各自使用獨立的核心。 Pod 沙箱允許你為每個 pod 分配資源,且不會與其他 Kata 容器或同一主機上運行的命名空間容器共享資源。

解決方案架構基於以下主要組件:

使用 Kata 容器部署 Pod 沙盒與標準 containerd 容器部署工作流程相似。 啟用 Pod 沙箱的叢集會附帶一個特定的執行時類別,你可以在 Pod 清單中參考 (runtimeClassName: kata-vm-isolation)。 欲了解更多關於執行時類別預設與自訂的資訊,請參閱 Pod 沙盒的考量。

要在 pod 上使用此功能,唯一的差別是要在 pod 規格中加入 runtimeClassNamekata-vm-isolation。當 pod 使用 kata-vm-isolation runtimeClass,虛擬機管理程式會啟動一個帶有自身核心的輕量虛擬機,供工作負載運作。

用 Pod 沙盒建立叢集

執行下列步驟,以使用 Azure CLI 部署 Azure Linux AKS 叢集。

  1. 透過執行 az aks create 以下參數的指令建立 AKS 叢集:

    參數 必填值 Notes
    --workload-runtime KataVmIsolation 在節點池上啟用 Pod 沙盒。
    --os-sku AzureLinux Pod 沙箱化僅支援 Azure Linux OS SKU。
    --node-vm-size 支援巢狀虛擬化的第二代虛擬機容量 例如,使用 Dsv3 系列 的虛擬機器大小。
    --node-count 3 為此範例建立三個節點。 根據你的工作量調整這個數值。

    以下範例建立一個名為 myAKSCluster 的叢集, myResourceGroup 中有三個節點:

    az aks create \
        --name myAKSCluster \
        --resource-group myResourceGroup \
        --os-sku AzureLinux \
        --workload-runtime KataVmIsolation \
        --node-vm-size Standard_D4s_v3 \
        --node-count 3 \
        --generate-ssh-keys
    
  2. 執行下列命令,取得 Kube 叢集的存取認證。 使用指令 az aks get-credentials 並替換叢集名稱和資源群組名稱的值。

    az aks get-credentials --resource-group myResourceGroup --name myAKSCluster
    
  3. 透過執行 kubectl get pods 指令,列出所有命名空間中的 Pods。

    kubectl get pods --all-namespaces
    

在現有叢集中啟用 Pod 沙箱化

若要將這項功能與現有的 AKS 叢集搭配使用,必須符合下列需求:

  • 叢集運行的是 Kubernetes 版本 1.27.0 或更高版本。

  • 請使用以下指令建立用於承載 Pod 沙箱功能的節點集區,以啟用 Pod 沙箱功能。

  1. 使用帶有下列參數的 az aks nodepool add 命令,將節點集區新增至 AKS 叢集:

    參數 必填值 Notes
    --resource-group 包含現有 AKS 叢集的資源群組 例如,使用 myResourceGroup。
    --cluster-name 現有AKS群組的名稱 例如,使用 myAKSCluster。
    --name 唯一節點集區名稱 例如,使用 nodepool2。
    --workload-runtime KataVmIsolation 在節點池上啟用 Pod 沙盒。
    --os-sku AzureLinux Pod 沙箱化僅支援 Azure Linux OS SKU。
    --node-vm-size 支援巢狀虛擬化的第二代虛擬機容量 例如,使用 Dsv3 系列 的虛擬機器大小。
    --node-count 1 為此範例建立一個節點。 根據你的工作量調整這個數值。

    下列範例會將節點集區新增至 myAKSCluster,其中一個節點位於 myResourceGroup 中的 nodepool2:

    az aks nodepool add --cluster-name myAKSCluster --resource-group myResourceGroup --name nodepool2 --os-sku AzureLinux --workload-runtime KataVmIsolation --node-vm-size Standard_D4s_v3 --node-count 1
    
  2. 執行 az aks update 指令來對照叢集設定,讓叢集能辨識新的節點池與 KataVmIsolation 工作負載執行時。

    az aks update --name myAKSCluster --resource-group myResourceGroup
    
  3. 確認叢集更新是否成功完成,且 Pod 沙盒節點池是否使用預期的工作負載執行時、作業系統 SKU 和虛擬機大小。

    az aks show \
        --name myAKSCluster \
        --resource-group myResourceGroup \
        --query provisioningState \
        --output tsv
    
    az aks nodepool show \
        --cluster-name myAKSCluster \
        --resource-group myResourceGroup \
        --name nodepool2 \
        --query "{workloadRuntime:workloadRuntime, osSKU:osSKU, vmSize:vmSize}" \
        --output table
    

    叢集配置狀態應該是 Succeeded。 節點池輸出應該會顯示 KataVmIsolation、 AzureLinux,以及你選擇的虛擬機大小。

使用 Pod 沙盒部署應用程式

透過 Pod 沙箱化,你可以同時部署不使用 Kata 執行階段的標準 Pod,以及使用該執行階段的 Kata Pod。 Kata Pod 會在其 Pod 規格中指定 runtimeClassName: kata-vm-isolation。

執行階段類別會選取 Kata 執行階段,但當您需要讓工作負載在特定的 Pod 沙箱節點集區上執行時,也應該定義排程約束。 例如,在 nodeSelector 中使用內建的 AKS 節點集區標籤。 請將 nodepool2 替換為你的 Pod 沙箱節點集區名稱。

spec:
  runtimeClassName: kata-vm-isolation
  nodeSelector:
    kubernetes.azure.com/agentpool: nodepool2

為了實現更嚴格的隔離,你可以為 Pod 沙箱節點集區設定污點,並為 Kata 工作負載新增相符的容忍設定。 沒有相符容忍設定的污點會使其他工作負載無法排程到該節點集區。 如需詳細資訊,請參閱 在 AKS 叢集中使用節點污點。

部署使用 Kata 執行時的應用程式

要在你的 AKS 叢集上部署帶有 Kata 執行時的 pod,請執行以下步驟。

  1. 建立一個名為 kata-app.yaml 的檔案來描述你的 Kata Pod,然後貼上以下清單。

    kind: Pod
    apiVersion: v1
    metadata:
      name: isolated-pod
    spec:
      runtimeClassName: kata-vm-isolation
      containers:
      - name: kata
        image: mcr.microsoft.com/aks/fundamental/base-ubuntu:v0.0.11
        command: ["/bin/sh", "-ec", "while :; do echo '.'; sleep 5 ; done"]
    

    runtimeClassName 的 Pod 規格值為 kata-vm-isolation。

  2. 透過執行 kubectl apply 指令部署 Kubernetes Pod,並指定你的 kata-app.yaml 檔案:

    kubectl apply -f kata-app.yaml
    

    此命令的輸出與下列範例類似:

    pod/isolated-pod created
    

驗證核心隔離(可選)

  1. 若要比較 Kata 與非 Kata Pod 的核心,請建立一個名為 normal-app.yaml 的檔案。 以下清單定義了不含 Kata 執行時間的標準 pod:
kind: Pod
apiVersion: v1
metadata:
  name: normal-pod
spec:
  containers:
  - name: non-kata
    image: mcr.microsoft.com/aks/fundamental/base-ubuntu:v0.0.11
    command: ["/bin/sh", "-ec", "while :; do echo '.'; sleep 5 ; done"]
  1. 使用指令部署標準艙 kubectl apply 。

    kubectl apply -f normal-app.yaml
    
  2. 要存取 AKS 叢集內的容器,請執行 kubectl exec 該指令啟動 shell 會話。 在這個例子中,你正在存取隔離 艙內的容器。

    kubectl exec -it isolated-pod -- /bin/sh
    

    Kubectl 連接你的叢集,運行 /bin/sh 在第一個容器內 isolated-pod,並將終端機的輸入和輸出串流轉發給容器的程序。 您也可以啟動一個殼層工作階段,進入裝載非 Kata Pod 的容器查看差異。

  3. 從 isolated-pod 啟動容器的 shell 工作階段後,執行指令以確認 kata 容器是否在 pod 沙箱中執行。 它的核心版本與沙盒外的非 Kata 容器不同。

    若要查看核心版本,請執行下列命令:

    uname -r
    

    下列範例類似於 Pod 沙箱核心的輸出:

    [user]/# uname -r
    6.6.96.mshv1
    
  4. 從 normal-pod 開始對容器的 shell 會話以驗證核心輸出:

    kubectl exec -it normal-pod -- /bin/bash
    

    若要查看核心版本,請執行下列命令:

    uname -r
    

    以下範例類似執行 normal-pod 的虛擬機輸出,而 normal-pod 的核心與 pod 沙盒內運行的 Kata Pod 不同:

    6.6.100.mshv1-1.azl3
    

清理資源

  1. 評估完此功能後,清理不再需要的資源以避免 Azure 費用。 如果你在評估或測試時部署了新叢集,請執行以下 az aks delete 指令刪除該 AKS 叢集。

    az aks delete --resource-group myResourceGroup --name myAKSCluster
    
  2. 如果你在現有叢集上部署了 Pod 沙盒,可以用這個 kubectl delete pod 指令移除這些 Pods。

    kubectl get pods
    kubectl delete pod <kata-pod-name>
    
  3. 要移除 Pod 沙盒運算資源,也可以用指令 az aks nodepool delete 刪除 Kata 節點池。 在刪除節點池之前,先確定沒有你想保留的工作負載在上面運行。

    az aks nodepool delete \
      --cluster-name myAKSCluster \
      --resource-group myResourceGroup \
      --name nodepool2
    

後續步驟

  • 深入了解具有 AKS 叢集之節點的 Azure 專用主機,以使用硬體隔離和控制 Azure 平台維護事件。
  • 如果想進一步了解 Pod 沙盒隔離,並探索相關的工作負載情境,請試用 Pod 沙盒實驗室。