Azure Kubernetes Service (AKS) 上 Pod 沙箱化的注意事項

Azure Kubernetes Service (AKS) 上的 Pod 沙盒有資源管理、記憶體管理、CPU 管理及安全性考量。

Pod 沙箱化中的資源管理

在指定部署資源時,特別是針對大型或資源敏感型工作負載,請檢視這些考量。

Kata 的組成部分

Kata 部署包含在 AKS 節點上執行的元件,以及執行在 pod 虛擬機(VM)內部的元件。 這種主機與客體的分割,會決定記憶體和 CPU 使用量的計量方式。

組件 執行於 Purpose 資源影響
Kata 墊片 AKS 節點(主機) 管理 Pod 虛擬機生命週期。 使用計入 RuntimeClass 開銷的主機端資源。
雲端虛擬機管理程式 AKS 節點(主機) 提供建立並執行 pod 虛擬機的虛擬機監控器(VMM)。 使用計入 RuntimeClass 開銷的主機端資源。
virtiofsd AKS 節點(主機) 在 pod 虛擬機與其容器主機之間共享檔案。 使用由RuntimeClass額外負荷計量的主機端資源。
Kata 代理程式 Pod VM(訪客) 管理 Pod VM 內的容器。 使用來自 pod VM 記憶體與 CPU 配置的訪客端資源。
Pod VM 核心 Pod VM(訪客) 提供客體作業系統核心。 使用來自 pod VM 記憶體與 CPU 配置的訪客端資源。
工作負載容器 Pod VM(訪客) 執行使用者的工作負載。 使用剩餘的來賓端資源,但須受 Pod 的資源限制約束。

Pod 沙盒化中的記憶體管理

把 Pod VM 的記憶體限制設到足以支援你的工作負載和 Kata 訪客元件,且不會分配未使用的記憶體。

Pod VM 記憶體大小

每個 Pod VM 都會分配到供工作負載和所有 Kata 來賓元件使用的記憶體。 將 Kata agent 和虛擬機器核心等客體元件所需的記憶體,一併納入預期工作負載消耗之外的考量。 常見記憶體值請參 見參考使用值 。

Kubernetes Pod 記憶體限制決定了 Pod VM 的記憶體大小。 更改 Pod 記憶體限制以改變 Pod VM 記憶體大小。

Important

如果你沒有指定 pod 記憶體限制,AKS 會套用預設的 pod VM 記憶體容量 512Mi。 Pod 啟動後,Pod VM 的記憶體大小會被固定。

RuntimeClass 記憶體開銷通常會隨著 Pod VM 記憶體容量增加而增加。

RuntimeClass 記憶體開銷

Pod 沙盒工作負載預設有 Kata RuntimeClass (kata-vm-isolation),其中包含預設的資源開銷值。 如需更精細地控制資源配額,請設定自訂RuntimeClass,並指定特定的資源額外負荷。 Pod 記憶體限制決定了 pod VM 可用的訪客端記憶體大小。 RuntimeClass額外負荷會保留節點容量給主機端 Kata 元件,且不需要考量客體元件的預期記憶體使用量。

你可以建立專用執行階段,並在 RuntimeClass 資訊清單中透過 overhead 欄位指定記憶體開銷。 例如,以下清單為預期資源消耗較低的工作負載建立執行時:

apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: small-kata-pods
handler: kata
overhead:
  podFixed:
    memory: "120Mi"

memory: "120Mi"值會在 Kubernetes 排程 Pod 並調整其cgroup大小時,增加 120Mi 的固定 Pod 額外負荷。 該 handler: kata 值必須與 AKS 節點上設定的 Kata 執行時處理器相符。

在使用自訂 RuntimeClass 之前,請先執行 kubectl get runtimeclass,並確認你的 AKS 叢集中支援其處理常式。

雖然不一定要指定開銷,但如果你想更細緻地控制為工作負載預留的資源,建議這麼做。 如果你使用預設 kata-vm-isolationRuntimeClass 且沒有指定 pod 記憶體限制,pod 虛擬機容量預設為 512 萬。 預設的 RuntimeClass 會為主機元件增加約 88Mi 的記憶體額外負擔,因而使 pod 的 cgroup 限制達到 600Mi。

使用者工作負載

你的 Kata 工作負載可以使用已設定的 Pod VM 記憶體容量 ,減去訪客元件(如 Kata agent 和訪客虛擬機核心)所佔用的記憶體。

若要估算這些元件所使用的記憶體:

  1. 連線到 Pod VM (透過 kubectl exec 或 kubectl debug 以在 Pod 內開啟殼層)。
  2. 執行 free 命令。
  3. 檢查 已使用 欄位,估算訪客核心與 Kata 代理所佔用的記憶體。

記憶體 cgroup

當 Kubernetes 為 Kata Pod 排程時,kubelet 會將該 Pod 指派給某個記憶體 cgroup。 它 cgroup 會強制執行 pod 的記憶體請求和限制,讓你能定義 pod 可用的資源。

記憶體 cgroup 有兩個重要欄位:

cgroup 欄位 Description
memory.current 報告 pod 虛擬機目前使用的記憶體,包括訪客元件與 Kata 主機元件。
memory.max 定義了 Pod cgroup的上限記憶體。 kubelet 將此值計算為 pod 記憶體限制與 RuntimeClass 記憶體開銷的總和。

在任何時刻,如果 memory.current 的值超過 memory.max 的值,當偵測到記憶體壓力時,核心可能會對該 Pod 觸發 OOMKill。

參考使用值

以下數值作為典型的記憶體使用範例。 Pod VM 記憶體大小低於 128 MiB 則不被支援。

如何閱讀此表格: memory.current 包含 Pod VM 記憶體配置及當前主機元件使用情況。 kubelet 會根據 pod 記憶體限制加上 RuntimeClass 額外負荷來計算 memory.max。 這些數值之間的差異表示可用於額外主機元件使用的容量。

Pod VM 記憶體大小 RuntimeClass額外負荷 memory.current memory.max 可供主機元件使用的空閒記憶體
128英里 16Mi 133英里 144英里 11Mi
256英里 32Mi 263英里 288Mi 25Mi
1Gi 128英里 1034英里 1152英里 118英里
2Gi 256英里 2063 MiB 2304英里 241英里
4Gi 374Mi 4122英里 4470英里 348Mi
8Gi 512兆字節 8232Mi 8704英里 472Mi
32Gi 640 MiB 32918英里 33408Mi 490Mi
64Gi 768 MiB 65825英里 66304Mi 479英里
96Gi 896英里 98738英里 99200英里 462英里
128Gi 1Gi 131646英里 132096Mi 450Mi

記憶體管理最佳實務

  • 在資訊清單中設定 limits.memory,以指定 Pod VM 的記憶體大小,並為所有部署定義適當的資源配額。
    • 在虛擬機啟動前,使用非零的 Pod 記憶體請求來預留節點容量給 Pod 虛擬機。 該請求應將 Pod VM 及其中執行的容器納入考量。
    • 使用非零 RuntimeClass 記憶體開銷,將 Kata 主機元件所消耗的節點容量納入計算。
  • 對於資源密集型工作負載,請為 Pod 設定記憶體限制,以便為工作負載和來賓元件提供足夠的記憶體。
  • 將 RuntimeClass 的記憶體額外負荷設得足夠高,以供 Kata 主機元件使用,同時避免預留遠超其需求的節點容量。

Pod 沙箱中的 CPU 管理

透過設定 Pod CPU 限制和 RuntimeClass 開銷,為 Kata 工作負載分配 CPU 資源。 在沒有 CPU 限制的情況下,Kata 主機元件可以使用節點上可用的任何 CPU 容量。

預留 CPU

將以下其中一個或兩個欄位設為預留 Kata 工作負載的 CPU 容量:

  • RuntimeClass CPU 額外負荷
  • Pod 的 CPU 限制

當至少指定兩個值中的其中一個時,控制平面會在節點上為您的工作負載保留指定數量的 CPU。 同一節點上的其他 pod 無法存取這個保留容量。

Pod CPU 限制

在你的應用程式清單中宣告 pod CPU 限制 。 限制控制了相關 pod VM 容器能使用的 CPU 數量。

Important

非整數的 Pod CPU 限制在進行 Pod VM 配置時,會無條件進位至下一個整數 vCPU。 Pod 的 CPU cgroup 仍會對工作負載強制套用小數限制。 在規劃成本與節點密度時,請將這項四捨五入因素納入考量。

如果你沒有宣告 pod 的 CPU 限制,當節點有足夠容量時,AKS 會分配一個 vCPU 給 Pod 虛擬機。 Kata 主機元件沒有 CPU 佔用上限。

RuntimeClass CPU 開銷

在部署工作負載之前,請指定RuntimeClass額外負荷,為 Kata 主機元件保留節點容量。

你可以透過 overhead 清單欄位 RuntimeClass 指定 CPU 開銷。 例如:

apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: custom-kata-runtime
handler: kata
overhead:
  podFixed:
    cpu: "250m"

cpu: "250m"值會在 Kubernetes 排程 Pod 並調整其cgroup大小時,增加 0.25 vCPU 的固定 Pod 額外負荷。 根據 Kata 主機元件的預期 CPU 消耗來調整此值。

CPU 管理最佳實務

  • 如果你的節點通常有足夠的空閒 CPU 空間,這些保留可能就沒必要了。
  • 如果你的節點通常在 CPU 消耗下運行至極限,那麼設定非零的資源預留能確保你的 Pod 更可靠地運行。
    • Pod 的 CPU 資源請求可協助 Kubernetes 排程器為工作負載預留足夠的節點容量。 特定工作負載的預留容量不會提供給節點上的其他工作負載。
  • 指定你的基礎設施能支援的 CPU 請求。 如果你的可用容量接近零,或你的請求過大,你的工作負載可能會 無法啟動。
  • 將你的 CPU 請求與 CPU 限制對齊。 請求會影響 Kubernetes 排程,但 Kata shim 不會用請求來調整 Pod 虛擬機大小。 CPU 限制決定了 pod 虛擬機的 vCPU 配置。 若未宣告 CPU 限制,Pod VM 會接收一個 vCPU,Kata 主機元件則沒有 CPU 消耗上限。

範例聲明

RuntimeClass CPU 開銷 Pod CPU 要求或限制 預期的行為
1 1 控制平面在節點上保留兩個 CPU。 Pod VM 會配有 1 個 vCPU,而 Pod 中的容器最多可使用 1 個 vCPU。 Kata 主機元件與 pod VM 合計最多可使用保留節點容量中的兩個 CPU。
1 2.5 控制平面在節點上保留了 3.5 顆 CPU。 Pod VM 有三個 vCPU,但 pod VM 裡的容器最多可使用 2.5 個 vCPU。 Kata 主機元件與 Pod VM 合計可使用最多 3.5 顆 CPU,超出預留節點容量。
None 1 控制平面在節點上保留一顆 CPU。 Pod VM 會得到一個 vCPU,Pod VM 裡的容器最多可以使用一個 vCPU。 Kata 主機元件與 Pod VM 合計最多可使用節點保留容量中的一顆 CPU。 CPU 請求會為 pod VM 提供 1 個 CPU。
1 None 控制平面在節點上保留一顆 CPU。 Pod VM 會得到一個 vCPU,Pod VM 裡的容器最多可以使用一個 vCPU。 Kata 主機元件與 pod 虛擬機可使用節點上任何可用的 CPU 容量。 額外保留的資源可確保至少有一顆 CPU 可供使用。

Pod 沙箱化的安全性考量

Pod 沙盒將工作負載與其他工作負載及主機隔離,但你仍需考慮以下安全風險。

具特殊權限的 Pod

某些工作負載需要具特權的 Pod。 您可以建立特殊權限 Pod,但主機裝置不會連結至。

使用特權容器會讓訪客虛擬機獲得 root 權限,但容器會與主機保持隔離。

即使已採用 Pod 沙箱機制,也僅應在必要時使用具特權的 Pod。 只允許可信任的使用者管理特權 Pod。

主機路徑儲存磁碟區

將 hostPath 磁碟區掛載到 Kata Pod 中,會使主機檔案系統的一部分直接暴露給容器,並可能削弱 Pod 沙箱隔離。 將 上游 hostPath 安全指引 套用到 Pod 沙盒工作負載。

以下檔案 /dev 是例外,因為它們是從訪客系統掛載到容器裡,而不是主機系統。 當工作負載需要此路徑時,此行為維持艙體隔離。

警告

除非您的工作負載需要hostPath儲存磁碟區,否則請避免使用。

使用 Azure 原則封鎖 hostPath 磁碟區

Azure 原則 為您的叢集元件提供集中且一致的執行與防護措施。

AKS 提供 內建政策定義 ,強制執行最佳實務。 指派 Kubernetes 叢集 Pod 應只使用允許的磁碟區類型原則,並使用Deny效果,以及從允許的磁碟區類型中排除hostPath,以封鎖嘗試裝載hostPath磁碟區的 Pod。

後續步驟

學習如何在 AKS 上部署 Pod 沙盒。