Att tänka på kring sandboxing av poddar i Azure Kubernetes Service (AKS)

Sandboxning av poddar i Azure Kubernetes Service (AKS) innefattar resurshantering, minneshantering, CPU-hantering och säkerhetsaspekter.

Resurshantering i Pod-sandboxning

Granska dessa överväganden när du anger resurser för en distribution, särskilt för stora eller resurskänsliga arbetsbelastningar.

Kata-komponenter

En Kata-distribution innehåller komponenter som körs på AKS-noden och komponenter som körs i den virtuella poddddatorn (VM). Den här värd- och gästdelningen avgör hur minne och CPU-användning redovisas.

Komponent Körs på Purpose Resurspåverkan
Kata shim AKS-nod (värddator) Hanterar VM-livscykeln för poddar. Använder resurser på värdsidan som redovisas med RuntimeClass omkostnader.
Cloud Hypervisor AKS-nod (värddator) Tillhandahåller VMM (Virtual Machine Monitor) som skapar och kör pod-VM:en. Använder resurser på värdsidan som redovisas med RuntimeClass omkostnader.
virtiofsd AKS-nod (värddator) Delar filer mellan den virtuella poddddatorn och dess containervärd. Använder resurser på värdsidan som redovisas med RuntimeClass omkostnader.
Kata-agent Pod-VM (gäst) Hanterar containrar i pod-VM:en. Använder gästresurser från podd-VM:ens minne och CPU-tilldelning.
Pod VM-kärna Pod-VM (gäst) Tillhandahåller gästoperativsystemets kernel. Använder gästresurser från podd-VM:ens minne och CPU-tilldelning.
Arbetsbelastningscontainrar Pod-VM (gäst) Kör användararbetsbelastningen. Använd de återstående resurserna på gästsidan, med förbehåll för poddens resursgränser.

Minneshantering i Pod-sandboxning

Ange den virtuella podddatorns minnesgräns som är tillräckligt hög för att stödja din arbetsbelastning och Kata-gästkomponenter utan att allokera oanvänt minne.

Minnesstorlek för Pod VM

Varje pod-VM tilldelas minne för arbetslasten och alla Kata-gästkomponenter. Inkludera minne utöver den förväntade arbetsbelastningsförbrukningen för gästkomponenter som Kata-agenten och VM-kerneln.

Minnesstorlek för Pod VM för kata-vm-isolation

För kata-vm-isolationavgör minnesgränsen för Kubernetes-podden vm-minnesstorleken för podden. RuntimeClass minnesomkostnaderna ökar vanligtvis med pod-VM:ens minnesstorlek. Se referensanvändningsvärdena för vanliga minnesvärden.

Minnesstorlek för Pod VM för kata-vm-isolation-v2

För kata-vm-isolation-v2 (förhandsversion) kan storleksbeteendet variera med mallinitiering.

Important

kata-vm-isolation-v2 poddar utan en initierad mall dimensioneras utifrån poddgränser som v1. Efter mallinitiering får varje v2-podd 2 GiB gästminne. Det här värdet kan konfigureras och du kan ändra det till mindre eller större baserat på din allmänna användning.

RuntimeClass minnesoverhead

Arbetsbelastningar för poddsandboxning levereras med standardvärdena Kata RuntimeClass (kata-vm-isolation) som innehåller standardvärden för resursomkostnader. I kluster med förhandsgranskning aktiverad tillhandahåller AKS också kata-vm-isolation-v2, som använder lägre minnesoverhead. För finare kontroll över resurskvoter konfigurerar du en anpassad RuntimeClass med specifika resurskostnader. För kata-vm-isolation avgör poddminnesgränsen storleken på det minne på gästsidan som är tillgängligt för podd-VM:en. RuntimeClass overhead reserverar nodkapacitet för Kata-komponenter på värdsidan och behöver inte ta hänsyn till den förväntade minnesförbrukningen för gästkomponenter.

Körningsklass Status Typiskt beteende för minnesöverhead Notes
kata-vm-isolation Allmänt tillgängligt 600Mi fast (som inte skalar med poddstorleken) overhead för körningskomponenter, utöver poddens VM-storlek. Grundläggande körtid för befintliga arbetsbelastningar.
kata-vm-isolation-v2 Preview 32Mi fast (skalas inte med poddstorleken) omkostnad för körningskomponenter ovanpå poddens VM-storlek. För migrering krävs förhandsversionsregistrering, nodpooler som kör Azure Linux-nodavbildningsversion 202610.30.1 eller senare samt arbetsbelastningsverifiering före migrering. Regional distribution kan variera beroende på region. Se AKS versionsspårare.

Du kan skapa en specialiserad runtime-miljö och ange minnesomkostnaden via fältet overhead i manifestfilen RuntimeClass. Följande manifest skapar till exempel en körning för arbetsbelastningar som förväntas använda 120Mi minne för kata-värdkomponenterna:

apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: small-kata-pods
handler: kata
overhead:
  podFixed:
    memory: "120Mi"

Värdet handler: kata måste överensstämma med den Kata-runtimehanterare som har konfigurerats på AKS-noderna. Innan du använder en anpassad RuntimeClass, kör kubectl get runtimeclass och kontrollera att dess hanterare stöds i ditt AKS-kluster.

Värdet memory: "120Mi" lägger till 120 Mi i fast overhead för podden när Kubernetes schemalägger podden och bestämmer storleken på dess cgroup.

Användararbetsbelastningar

Din Kata-arbetsbelastning kan använda den konfigurerade vm-minnesstorleken för poddar minus det minne som gästkomponenter, till exempel Kata-agenten och gäst-VM-kerneln, förbrukar.

För att uppskatta det minne som dessa komponenter använder:

  1. Anslut till den virtuella poddatorn (antingen via kubectl exec eller kubectl debug för att öppna ett skal i podden).
  2. Kör free kommandot.
  3. Granska den använda kolumnen för att uppskatta det minne som gästkärnan och Kata-agenten förbrukar.

Minnescgroups

När Kubernetes schemalägger en Kata-podd tilldelar kubelet podden till ett minne cgroup. cgroup upprätthåller poddens minnesbegäranden och minnesgränser så att du kan definiera vilka resurser som är tillgängliga för podden.

Minnet cgroup har två viktiga fält:

cgroup-fält Description
memory.current Rapporterar den aktuella minnesanvändningen för pod-VM:en, inklusive gästkomponenter och värdkomponenterna i Kata.
memory.max Definierar den övre minnesgränsen för podden cgroup. kubelet beräknar detta värde som summan av poddens minnesgräns och minnesomkostnaderna för RuntimeClass.

Om memory.current-värdet vid något tillfälle överstiger memory.max-värdet kan kerneln utlösa en OOMKill i podden om minnesbelastning identifieras.

Det krävs inte att du anger minnesgränser för poddar, men det rekommenderas om du vill ha bättre kontroll över de resurser som är reserverade för dina arbetsbelastningar. Om du använder standardvärdet kata-vm-isolationRuntimeClass och inte anger någon minnesgräns för poddar, är pod-VM-storleken som standard 512Mi och det finns ingen cgroup-gräns. En podd med en minnesgräns använder en cgroup gräns som är lika med summan av poddgränsvärdet och 600Mi-omkostnaderna RuntimeClass .

kata-vm-isolation referensvärden för användning

Använd följande värden som vanliga exempel på minnesanvändning. Minnesstorlekar för virtuell podddator under 128 MiB stöds inte.

Så här läser du den här tabellen: memory.current innehåller pod-VM:ens minnesallokering och aktuell användning av värdkomponenten. kubelet beräknar memory.max utifrån poddens minnesgräns plus RuntimeClass overhead. Skillnaden mellan dessa värden anger den kapacitet som är tillgänglig för extra användning av värdkomponenter.

Minnesstorlek för Pod VM RuntimeClass overhead memory.current memory.max Ledigt minne tillgängligt för värdkomponenter
128Mi 16Mi 133Mi 144Mi 11Mi
256 MiB 32Mi 263Mi 288Mi 25Mi
1Gi (1 gibibyte) 128Mi 1034Mi 1152Mi 118Mi
2Gi 256 MiB 2063Mi 2304Mi 241Mi
4Gi 374Mi 4122 MiB 4470Mi 348Mi
8Gi 512Mi 8232Mi 8704Mi 472Mi
32Gi 640Mi 32918Mi 33408Mi 490Mi
64 GiB 768Mi 65825Mi 66304 MiB 479Mi
96Gi 896Mi 98738Mi 99200Mi 462 MiB
128Gi 1Gi (1 gibibyte) 131646Mi 132096Mi 450Mi

Metodtips för minneshantering

  • Ange vm-minnesstorlekar för poddar genom att ange limits.memory i manifesten och definiera lämpliga resurskvoter för alla distributioner.
    • Fältet memory.max i poddens cgroup används inte för poddar utan ett giltigt limits.memory-värde. Poddarbetsbelastningens minnesanvändning begränsas av standardstorleken 512Mi podd-VM, men det finns ingen minnesgräns för Kata-värdkomponenterna.
  • Använd en begäran om poddminne som inte är noll för att reservera nodkapacitet för podd-VM:en innan den virtuella datorn startar.
    • Begäran ska ta hänsyn till det minne som används av containrar och Kata-komponenterna.
  • Använd RuntimeClass minnesoverhead som inte är noll för att kompensera för den nodkapacitet som värdkomponenterna i Kata förbrukar.
  • Ange RuntimeClass minnesoverhead så högt att Katas värdkomponenter får tillräckligt med utrymme utan att reservera betydligt mer nodkapacitet än de behöver.

runtimeklass v2 (förhandsversion) i sandlådefunktion för poddar

Körningsklassen kata-vm-isolation-v2 är i förhandsversion. Det här avsnittet beskriver förbättringarna och hur du migrerar arbetsbelastningar från kata-vm-isolation.

Förbättringar av Runtime class v2

Den nya runtimeClassName: kata-vm-isolation-v2 är i förhandsversion. Standardkonfigurationen innehåller följande förbättringar:

  • Lägre minnesförbrukning: Minskar minnesoverheaden för sandbox-miljön per podd, vilket ger mer nodminne tillgängligt för program.
  • Rust-körning: Använder Katas Rust-körningsimplementering.
  • Nya sandboxes från en mall: Klonar nya sandbox-miljöer från en förinitierad mall i stället för att starta var och en från grunden, vilket minskar svarstiden för start av sandbox-poddar. Installationsanvisningar finns i Skapa sandbox-poddar från en pausad, förinitierad mall-VM.
  • Förutsättningar för återställning av ögonblicksbilder: Tillhandahåller körningskraven för återställning av ögonblicksbilder, som avbildar tillståndet för en specifik arbetsbelastningsinstans som körs, inklusive dess minne, processer och programkontext.

I följande tabell jämförs v1- och v2-körmiljöerna:

Area kata-vm-isolation kata-vm-isolation-v2 (förhandsgranskning)
Urval Standardkörtidsklass för sandbox-miljö för poddar. Aktivera detta genom att registrera funktionsflaggan KataVMIsolationV2Preview och välja v2 RuntimeClass.
Minnesöverhead 600Mi 32Mi
Kata Runtime Go Rust
Starttid för poddar Kall start för varje sandbox-miljö. Lägre startsvarstid när du skapar nya sandlådor från en förinitierad mall.

Vägledning för migrering av körningsklass (v1 till v2, förhandsversion)

Om du vill flytta arbetsbelastningar från kata-vm-isolation till kata-vm-isolation-v2 (förhandsversion) följer du migreringsinstruktionerna för v1-till-v2. V2-körningsklassen kräver att du registrerar funktionsflaggan KataVMIsolationV2Preview och använder Azure Linux-nodavbildningsversion 202610.30.1 eller senare. Regional distribution kan variera beroende på region. För aktuell tillgänglighet, se AKS-versionsspåraren.

Important

Migrering mellan körningsklasser är en explicit ändring av arbetsbelastningen. Anta inte att beteendet är identiskt mellan körningsklasser för alla lagrings- och monteringsmönster.

emptyDir vägledning för kata-vm-isolation-v2

För arbetsbelastningar som använder emptyDir volymer med kata-vm-isolation-v2, ställ uttryckligen in medium: Memory och ange en sizeLimit i poddspecifikationen.

volumes:
  - name: cache
    emptyDir:
      medium: Memory
      sizeLimit: 256Mi

CPU-hantering i sandlådemiljöer för poddar

Pod CPU-begränsning

Deklarera podd-CPU-gränsen i programmets manifest. Gränsen styr hur många virtuella processorer som tilldelas pod-VM:en.

Om en podd har ett limits.cpu-värde som inte är noll läggs det värdet till RuntimeClass CPU-omkostnadsvärdet, och denna summa tilldelas poddens fält cgroupcpu.max. Fältet begränsar den totala CPU-bandbredden som används av pod-VM:en och Kata-värdkomponenterna.

Important

CPU-gränser för poddar med bråkdelar av CPU avrundas uppåt till nästa hela vCPU vid tilldelning av podd-VM. Poddens CPU cgroup upprätthåller fortfarande den fraktionella gränsen för arbetsbelastningen. Ta hänsyn till denna avrundning när du planerar kostnad och noddensitet.

Om du inte deklarerar en podds CPU-gräns, allokerar kata-vm-isolation en vCPU till poddens virtuella maskin när noden har tillräcklig kapacitet. Kata-värdkomponenter har ingen cpu-förbrukningsgräns för den här typen av podd.

Reservera CPU

Om en podd inte anger något requests.cpu-värde men anger ett icke-nollvärde för limits.cpu, kopieras värdet i fältet limits.cpu automatiskt till fältet requests.cpu.

En podds antal reserverade processorer på noden är summan av RuntimeClass cpu-omkostnaderna och poddens requests.cpu fältvärden. Andra poddar på samma nod kan inte komma åt den här reserverade kapaciteten. Om inget av dessa värden är noll finns det ingen CPU-reservation.

RuntimeClass CPU-overhead

Ange den RuntimeClass överhead som ska användas för att reservera nodkapacitet för Kata-värdkomponenterna innan du distribuerar en arbetslast.

Du kan ange processorkostnader via fältet overhead i manifestet RuntimeClass . Till exempel:

apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
  name: custom-kata-runtime
handler: kata
overhead:
  podFixed:
    cpu: "250m"

Värdet cpu: "250m" lägger till 0,25 vCPU i fast overhead för podden när Kubernetes schemalägger podden och fastställer storleken på dess cgroup. Justera det här värdet baserat på den förväntade CPU-förbrukningen för Kata-värdkomponenterna.

Metodtips för CPU-hantering

  • Om noden vanligtvis har gott om ledig CPU-kapacitet kan reservationer vara onödiga.
  • Om dina noder vanligtvis kör till sin kapacitetsgräns när det gäller CPU-användning, kan en icke-nollreservation säkerställa att dina poddar kan utföras mer tillförlitligt.
    • Resursbegäranden för podd-CPU hjälper Kubernetes-schemaläggaren att reservera tillräcklig nodkapacitet för en arbetslast. Reserverad kapacitet för en viss arbetsbelastning är inte tillgänglig för andra arbetsbelastningar på noden.
  • Ange CPU-begäranden som din infrastruktur kan hantera. Om din tillgängliga kapacitet är nära noll, eller om din förfrågan är för stor, kanske dina arbetsbelastningar inte startar.
  • Justera dina CPU-begäranden med cpu-gränserna. Resursbegäranden påverkar schemaläggning i Kubernetes, men Kata-shimmet använder dem inte för att dimensionera pod-VM:n.
    • För kata-vm-isolation avgör CPU-gränsen pod-VM:ens vCPU-allokering, och om ingen CPU-gräns deklareras tilldelas pod-VM:en en vCPU.
    • För kata-vm-isolation-v2 förhandsversion kontrollerar du observerat cpu-allokeringsbeteende i målregionen och nodbilden eftersom mallinitieringsbeteende kan allokera 2 vCPU även när lägre eller inga CPU-gränser deklareras.

Exempeldeklarationer

RuntimeClass CPU-overhead Pod CPU-begränsning Förväntat beteende
1 1 Kontrollplanet reserverar två processorer på noden. Pod-VM:en får en vCPU, och containrarna i podden kan använda upp till en vCPU. Kata-värdkomponenterna och pod-VM:en kan tillsammans använda upp till två CPU:er av nodens reserverade kapacitet.
1 2.5 Kontrollplanet reserverar 3,5 processorer på noden. Den virtuella poddddatorn får tre vCPU:er, men containrar på den virtuella poddddatorn kan använda upp till 2,5 vCPU:er. Kata-värdkomponenterna och pod-VM:n kan tillsammans använda upp till 3,5 CPU-kärnor av nodens reserverade kapacitet.
None 1 Kontrollplanet reserverar en processor på noden. Podd-VM:n tilldelas en vCPU, och containrar i podd-VM:n kan använda upp till en vCPU. Kata-värdkomponenter och podd-VM:n kan tillsammans använda upp till en CPU av nodens reserverade kapacitet.
1 None Kontrollplanet reserverar en processor på noden. Podd-VM:n tilldelas en vCPU, och containrar i podd-VM:n kan använda upp till en vCPU. Kata-värdkomponenterna och pod-VM:n kan använda all CPU-kapacitet som finns tillgänglig på noden.

Säkerhetsöverväganden för sandlådeteknik för Poddar

Pod-sandlådor isolerar arbetslaster från andra arbetslaster och värdsystemet, men du måste fortfarande ta hänsyn till följande säkerhetsrisker.

Privilegierade poddar

Vissa arbetsbelastningar kräver privilegierade poddar. Du kan skapa privilegierade poddar, men värdenheter är inte anslutna till poddarna.

Att använda privilegierade containrar ger rootbehörighet i gäst-VM:n, men containrarna förblir isolerade från värdmaskinen.

Använd endast privilegierade poddar när det behövs, även med podsandboxning. Tillåt endast betrodda användare att hantera privilegierade poddar.

Lagringsvolymer för värdsökväg

Om du monterar hostPath volymer i Kata-poddar exponeras en del av värdfilsystemet direkt för containern och kan försvaga podds sandbox-isolering. Använd den överordnade hostPath säkerhetsvägledningen för arbetsbelastningar för poddsandboxning.

Filer under /dev är ett undantag eftersom de monteras i containern från gästsystemet i stället för värdsystemet. Det här beteendet bibehåller isoleringen mellan poddar när en arbetsbelastning kräver den här sökvägen.

Varning

Undvik hostPath lagringsvolymer om inte din arbetsbelastning kräver dem.

Blockera hostPath volymer med Azure Policy

Azure Policy ger centraliserad, konsekvent tillämpning och skydd för dina klusterkomponenter.

AKS tillhandahåller inbyggda principdefinitioner som tillämpar bästa praxis. Tilldela principen Kubernetes-klusterpoddar ska endast använda tillåtna volymtyper med effekten Deny, och undanta hostPath från de tillåtna volymtyperna för att blockera poddar som försöker montera volymer av typen hostPath.

Nästa steg

Lär dig hur du implementerar podsandboxning på AKS.