Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Sandboxning av poddar i Azure Kubernetes Service (AKS) innefattar resurshantering, minneshantering, CPU-hantering och säkerhetsaspekter.
Resurshantering i Pod-sandboxning
Granska dessa överväganden när du anger resurser för en distribution, särskilt för stora eller resurskänsliga arbetsbelastningar.
Kata-komponenter
En Kata-distribution innehåller komponenter som körs på AKS-noden och komponenter som körs i den virtuella poddddatorn (VM). Den här värd- och gästdelningen avgör hur minne och CPU-användning redovisas.
| Komponent | Körs på | Purpose | Resurspåverkan |
|---|---|---|---|
| Kata shim | AKS-nod (värddator) | Hanterar VM-livscykeln för poddar. | Använder resurser på värdsidan som redovisas med RuntimeClass omkostnader. |
| Cloud Hypervisor | AKS-nod (värddator) | Tillhandahåller VMM (Virtual Machine Monitor) som skapar och kör pod-VM:en. | Använder resurser på värdsidan som redovisas med RuntimeClass omkostnader. |
virtiofsd |
AKS-nod (värddator) | Delar filer mellan den virtuella poddddatorn och dess containervärd. | Använder resurser på värdsidan som redovisas med RuntimeClass omkostnader. |
| Kata-agent | Pod-VM (gäst) | Hanterar containrar i pod-VM:en. | Använder gästresurser från podd-VM:ens minne och CPU-tilldelning. |
| Pod VM-kärna | Pod-VM (gäst) | Tillhandahåller gästoperativsystemets kernel. | Använder gästresurser från podd-VM:ens minne och CPU-tilldelning. |
| Arbetsbelastningscontainrar | Pod-VM (gäst) | Kör användararbetsbelastningen. | Använd de återstående resurserna på gästsidan, med förbehåll för poddens resursgränser. |
Minneshantering i Pod-sandboxning
Ange den virtuella podddatorns minnesgräns som är tillräckligt hög för att stödja din arbetsbelastning och Kata-gästkomponenter utan att allokera oanvänt minne.
Minnesstorlek för Pod VM
Varje pod-VM tilldelas minne för arbetslasten och alla Kata-gästkomponenter. Inkludera minne utöver den förväntade arbetsbelastningsförbrukningen för gästkomponenter som Kata-agenten och VM-kerneln.
Minnesstorlek för Pod VM för kata-vm-isolation
För kata-vm-isolationavgör minnesgränsen för Kubernetes-podden vm-minnesstorleken för podden.
RuntimeClass minnesomkostnaderna ökar vanligtvis med pod-VM:ens minnesstorlek. Se referensanvändningsvärdena för vanliga minnesvärden.
Minnesstorlek för Pod VM för kata-vm-isolation-v2
För kata-vm-isolation-v2 (förhandsversion) kan storleksbeteendet variera med mallinitiering.
Important
kata-vm-isolation-v2 poddar utan en initierad mall dimensioneras utifrån poddgränser som v1. Efter mallinitiering får varje v2-podd 2 GiB gästminne. Det här värdet kan konfigureras och du kan ändra det till mindre eller större baserat på din allmänna användning.
RuntimeClass minnesoverhead
Arbetsbelastningar för poddsandboxning levereras med standardvärdena Kata RuntimeClass (kata-vm-isolation) som innehåller standardvärden för resursomkostnader. I kluster med förhandsgranskning aktiverad tillhandahåller AKS också kata-vm-isolation-v2, som använder lägre minnesoverhead. För finare kontroll över resurskvoter konfigurerar du en anpassad RuntimeClass med specifika resurskostnader. För kata-vm-isolation avgör poddminnesgränsen storleken på det minne på gästsidan som är tillgängligt för podd-VM:en.
RuntimeClass overhead reserverar nodkapacitet för Kata-komponenter på värdsidan och behöver inte ta hänsyn till den förväntade minnesförbrukningen för gästkomponenter.
| Körningsklass | Status | Typiskt beteende för minnesöverhead | Notes |
|---|---|---|---|
kata-vm-isolation |
Allmänt tillgängligt | 600Mi fast (som inte skalar med poddstorleken) overhead för körningskomponenter, utöver poddens VM-storlek. | Grundläggande körtid för befintliga arbetsbelastningar. |
kata-vm-isolation-v2 |
Preview | 32Mi fast (skalas inte med poddstorleken) omkostnad för körningskomponenter ovanpå poddens VM-storlek. | För migrering krävs förhandsversionsregistrering, nodpooler som kör Azure Linux-nodavbildningsversion 202610.30.1 eller senare samt arbetsbelastningsverifiering före migrering. Regional distribution kan variera beroende på region. Se AKS versionsspårare. |
Du kan skapa en specialiserad runtime-miljö och ange minnesomkostnaden via fältet overhead i manifestfilen RuntimeClass.
Följande manifest skapar till exempel en körning för arbetsbelastningar som förväntas använda 120Mi minne för kata-värdkomponenterna:
apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
name: small-kata-pods
handler: kata
overhead:
podFixed:
memory: "120Mi"
Värdet handler: kata måste överensstämma med den Kata-runtimehanterare som har konfigurerats på AKS-noderna. Innan du använder en anpassad RuntimeClass, kör kubectl get runtimeclass och kontrollera att dess hanterare stöds i ditt AKS-kluster.
Värdet memory: "120Mi" lägger till 120 Mi i fast overhead för podden när Kubernetes schemalägger podden och bestämmer storleken på dess cgroup.
Användararbetsbelastningar
Din Kata-arbetsbelastning kan använda den konfigurerade vm-minnesstorleken för poddar minus det minne som gästkomponenter, till exempel Kata-agenten och gäst-VM-kerneln, förbrukar.
För att uppskatta det minne som dessa komponenter använder:
- Anslut till den virtuella poddatorn (antingen via
kubectl execellerkubectl debugför att öppna ett skal i podden). - Kör
freekommandot. - Granska den använda kolumnen för att uppskatta det minne som gästkärnan och Kata-agenten förbrukar.
Minnescgroups
När Kubernetes schemalägger en Kata-podd tilldelar kubelet podden till ett minne cgroup.
cgroup upprätthåller poddens minnesbegäranden och minnesgränser så att du kan definiera vilka resurser som är tillgängliga för podden.
Minnet cgroup har två viktiga fält:
| cgroup-fält | Description |
|---|---|
memory.current |
Rapporterar den aktuella minnesanvändningen för pod-VM:en, inklusive gästkomponenter och värdkomponenterna i Kata. |
memory.max |
Definierar den övre minnesgränsen för podden cgroup. kubelet beräknar detta värde som summan av poddens minnesgräns och minnesomkostnaderna för RuntimeClass. |
Om memory.current-värdet vid något tillfälle överstiger memory.max-värdet kan kerneln utlösa en OOMKill i podden om minnesbelastning identifieras.
Det krävs inte att du anger minnesgränser för poddar, men det rekommenderas om du vill ha bättre kontroll över de resurser som är reserverade för dina arbetsbelastningar. Om du använder standardvärdet kata-vm-isolationRuntimeClass och inte anger någon minnesgräns för poddar, är pod-VM-storleken som standard 512Mi och det finns ingen cgroup-gräns. En podd med en minnesgräns använder en cgroup gräns som är lika med summan av poddgränsvärdet och 600Mi-omkostnaderna RuntimeClass .
kata-vm-isolation referensvärden för användning
Använd följande värden som vanliga exempel på minnesanvändning. Minnesstorlekar för virtuell podddator under 128 MiB stöds inte.
Så här läser du den här tabellen: memory.current innehåller pod-VM:ens minnesallokering och aktuell användning av värdkomponenten. kubelet beräknar memory.max utifrån poddens minnesgräns plus RuntimeClass overhead. Skillnaden mellan dessa värden anger den kapacitet som är tillgänglig för extra användning av värdkomponenter.
| Minnesstorlek för Pod VM |
RuntimeClass overhead |
memory.current | memory.max | Ledigt minne tillgängligt för värdkomponenter |
|---|---|---|---|---|
| 128Mi | 16Mi | 133Mi | 144Mi | 11Mi |
| 256 MiB | 32Mi | 263Mi | 288Mi | 25Mi |
| 1Gi (1 gibibyte) | 128Mi | 1034Mi | 1152Mi | 118Mi |
| 2Gi | 256 MiB | 2063Mi | 2304Mi | 241Mi |
| 4Gi | 374Mi | 4122 MiB | 4470Mi | 348Mi |
| 8Gi | 512Mi | 8232Mi | 8704Mi | 472Mi |
| 32Gi | 640Mi | 32918Mi | 33408Mi | 490Mi |
| 64 GiB | 768Mi | 65825Mi | 66304 MiB | 479Mi |
| 96Gi | 896Mi | 98738Mi | 99200Mi | 462 MiB |
| 128Gi | 1Gi (1 gibibyte) | 131646Mi | 132096Mi | 450Mi |
Metodtips för minneshantering
- Ange vm-minnesstorlekar för poddar genom att ange
limits.memoryi manifesten och definiera lämpliga resurskvoter för alla distributioner.- Fältet
memory.maxi poddenscgroupanvänds inte för poddar utan ett giltigtlimits.memory-värde. Poddarbetsbelastningens minnesanvändning begränsas av standardstorleken 512Mi podd-VM, men det finns ingen minnesgräns för Kata-värdkomponenterna.
- Fältet
- Använd en begäran om poddminne som inte är noll för att reservera nodkapacitet för podd-VM:en innan den virtuella datorn startar.
- Begäran ska ta hänsyn till det minne som används av containrar och Kata-komponenterna.
- Använd
RuntimeClassminnesoverhead som inte är noll för att kompensera för den nodkapacitet som värdkomponenterna i Kata förbrukar. - Ange
RuntimeClassminnesoverhead så högt att Katas värdkomponenter får tillräckligt med utrymme utan att reservera betydligt mer nodkapacitet än de behöver.
runtimeklass v2 (förhandsversion) i sandlådefunktion för poddar
Körningsklassen kata-vm-isolation-v2 är i förhandsversion. Det här avsnittet beskriver förbättringarna och hur du migrerar arbetsbelastningar från kata-vm-isolation.
Förbättringar av Runtime class v2
Den nya runtimeClassName: kata-vm-isolation-v2 är i förhandsversion. Standardkonfigurationen innehåller följande förbättringar:
- Lägre minnesförbrukning: Minskar minnesoverheaden för sandbox-miljön per podd, vilket ger mer nodminne tillgängligt för program.
- Rust-körning: Använder Katas Rust-körningsimplementering.
- Nya sandboxes från en mall: Klonar nya sandbox-miljöer från en förinitierad mall i stället för att starta var och en från grunden, vilket minskar svarstiden för start av sandbox-poddar. Installationsanvisningar finns i Skapa sandbox-poddar från en pausad, förinitierad mall-VM.
- Förutsättningar för återställning av ögonblicksbilder: Tillhandahåller körningskraven för återställning av ögonblicksbilder, som avbildar tillståndet för en specifik arbetsbelastningsinstans som körs, inklusive dess minne, processer och programkontext.
I följande tabell jämförs v1- och v2-körmiljöerna:
| Area | kata-vm-isolation |
kata-vm-isolation-v2 (förhandsgranskning) |
|---|---|---|
| Urval | Standardkörtidsklass för sandbox-miljö för poddar. | Aktivera detta genom att registrera funktionsflaggan KataVMIsolationV2Preview och välja v2 RuntimeClass. |
| Minnesöverhead | 600Mi | 32Mi |
| Kata Runtime | Go | Rust |
| Starttid för poddar | Kall start för varje sandbox-miljö. | Lägre startsvarstid när du skapar nya sandlådor från en förinitierad mall. |
Vägledning för migrering av körningsklass (v1 till v2, förhandsversion)
Om du vill flytta arbetsbelastningar från kata-vm-isolation till kata-vm-isolation-v2 (förhandsversion) följer du migreringsinstruktionerna för v1-till-v2. V2-körningsklassen kräver att du registrerar funktionsflaggan KataVMIsolationV2Preview och använder Azure Linux-nodavbildningsversion 202610.30.1 eller senare. Regional distribution kan variera beroende på region. För aktuell tillgänglighet, se AKS-versionsspåraren.
Important
Migrering mellan körningsklasser är en explicit ändring av arbetsbelastningen. Anta inte att beteendet är identiskt mellan körningsklasser för alla lagrings- och monteringsmönster.
emptyDir vägledning för kata-vm-isolation-v2
För arbetsbelastningar som använder emptyDir volymer med kata-vm-isolation-v2, ställ uttryckligen in medium: Memory och ange en sizeLimit i poddspecifikationen.
volumes:
- name: cache
emptyDir:
medium: Memory
sizeLimit: 256Mi
CPU-hantering i sandlådemiljöer för poddar
Pod CPU-begränsning
Deklarera podd-CPU-gränsen i programmets manifest. Gränsen styr hur många virtuella processorer som tilldelas pod-VM:en.
Om en podd har ett limits.cpu-värde som inte är noll läggs det värdet till RuntimeClass CPU-omkostnadsvärdet, och denna summa tilldelas poddens fält cgroupcpu.max. Fältet begränsar den totala CPU-bandbredden som används av pod-VM:en och Kata-värdkomponenterna.
Important
CPU-gränser för poddar med bråkdelar av CPU avrundas uppåt till nästa hela vCPU vid tilldelning av podd-VM. Poddens CPU cgroup upprätthåller fortfarande den fraktionella gränsen för arbetsbelastningen. Ta hänsyn till denna avrundning när du planerar kostnad och noddensitet.
Om du inte deklarerar en podds CPU-gräns, allokerar kata-vm-isolation en vCPU till poddens virtuella maskin när noden har tillräcklig kapacitet. Kata-värdkomponenter har ingen cpu-förbrukningsgräns för den här typen av podd.
Reservera CPU
Om en podd inte anger något requests.cpu-värde men anger ett icke-nollvärde för limits.cpu, kopieras värdet i fältet limits.cpu automatiskt till fältet requests.cpu.
En podds antal reserverade processorer på noden är summan av RuntimeClass cpu-omkostnaderna och poddens requests.cpu fältvärden. Andra poddar på samma nod kan inte komma åt den här reserverade kapaciteten. Om inget av dessa värden är noll finns det ingen CPU-reservation.
RuntimeClass CPU-overhead
Ange den RuntimeClass överhead som ska användas för att reservera nodkapacitet för Kata-värdkomponenterna innan du distribuerar en arbetslast.
Du kan ange processorkostnader via fältet overhead i manifestet RuntimeClass .
Till exempel:
apiVersion: node.k8s.io/v1
kind: RuntimeClass
metadata:
name: custom-kata-runtime
handler: kata
overhead:
podFixed:
cpu: "250m"
Värdet cpu: "250m" lägger till 0,25 vCPU i fast overhead för podden när Kubernetes schemalägger podden och fastställer storleken på dess cgroup. Justera det här värdet baserat på den förväntade CPU-förbrukningen för Kata-värdkomponenterna.
Metodtips för CPU-hantering
- Om noden vanligtvis har gott om ledig CPU-kapacitet kan reservationer vara onödiga.
- Om dina noder vanligtvis kör till sin kapacitetsgräns när det gäller CPU-användning, kan en icke-nollreservation säkerställa att dina poddar kan utföras mer tillförlitligt.
- Resursbegäranden för podd-CPU hjälper Kubernetes-schemaläggaren att reservera tillräcklig nodkapacitet för en arbetslast. Reserverad kapacitet för en viss arbetsbelastning är inte tillgänglig för andra arbetsbelastningar på noden.
- Ange CPU-begäranden som din infrastruktur kan hantera. Om din tillgängliga kapacitet är nära noll, eller om din förfrågan är för stor, kanske dina arbetsbelastningar inte startar.
- Justera dina CPU-begäranden med cpu-gränserna. Resursbegäranden påverkar schemaläggning i Kubernetes, men Kata-shimmet använder dem inte för att dimensionera pod-VM:n.
- För
kata-vm-isolationavgör CPU-gränsen pod-VM:ens vCPU-allokering, och om ingen CPU-gräns deklareras tilldelas pod-VM:en en vCPU. - För
kata-vm-isolation-v2förhandsversion kontrollerar du observerat cpu-allokeringsbeteende i målregionen och nodbilden eftersom mallinitieringsbeteende kan allokera 2 vCPU även när lägre eller inga CPU-gränser deklareras.
- För
Exempeldeklarationer
RuntimeClass CPU-overhead |
Pod CPU-begränsning | Förväntat beteende |
|---|---|---|
| 1 | 1 | Kontrollplanet reserverar två processorer på noden. Pod-VM:en får en vCPU, och containrarna i podden kan använda upp till en vCPU. Kata-värdkomponenterna och pod-VM:en kan tillsammans använda upp till två CPU:er av nodens reserverade kapacitet. |
| 1 | 2.5 | Kontrollplanet reserverar 3,5 processorer på noden. Den virtuella poddddatorn får tre vCPU:er, men containrar på den virtuella poddddatorn kan använda upp till 2,5 vCPU:er. Kata-värdkomponenterna och pod-VM:n kan tillsammans använda upp till 3,5 CPU-kärnor av nodens reserverade kapacitet. |
| None | 1 | Kontrollplanet reserverar en processor på noden. Podd-VM:n tilldelas en vCPU, och containrar i podd-VM:n kan använda upp till en vCPU. Kata-värdkomponenter och podd-VM:n kan tillsammans använda upp till en CPU av nodens reserverade kapacitet. |
| 1 | None | Kontrollplanet reserverar en processor på noden. Podd-VM:n tilldelas en vCPU, och containrar i podd-VM:n kan använda upp till en vCPU. Kata-värdkomponenterna och pod-VM:n kan använda all CPU-kapacitet som finns tillgänglig på noden. |
Säkerhetsöverväganden för sandlådeteknik för Poddar
Pod-sandlådor isolerar arbetslaster från andra arbetslaster och värdsystemet, men du måste fortfarande ta hänsyn till följande säkerhetsrisker.
Privilegierade poddar
Vissa arbetsbelastningar kräver privilegierade poddar. Du kan skapa privilegierade poddar, men värdenheter är inte anslutna till poddarna.
Att använda privilegierade containrar ger rootbehörighet i gäst-VM:n, men containrarna förblir isolerade från värdmaskinen.
Använd endast privilegierade poddar när det behövs, även med podsandboxning. Tillåt endast betrodda användare att hantera privilegierade poddar.
Lagringsvolymer för värdsökväg
Om du monterar hostPath volymer i Kata-poddar exponeras en del av värdfilsystemet direkt för containern och kan försvaga podds sandbox-isolering. Använd den överordnade hostPath säkerhetsvägledningen för arbetsbelastningar för poddsandboxning.
Filer under /dev är ett undantag eftersom de monteras i containern från gästsystemet i stället för värdsystemet. Det här beteendet bibehåller isoleringen mellan poddar när en arbetsbelastning kräver den här sökvägen.
Varning
Undvik hostPath lagringsvolymer om inte din arbetsbelastning kräver dem.
Blockera hostPath volymer med Azure Policy
Azure Policy ger centraliserad, konsekvent tillämpning och skydd för dina klusterkomponenter.
AKS tillhandahåller inbyggda principdefinitioner som tillämpar bästa praxis. Tilldela principen Kubernetes-klusterpoddar ska endast använda tillåtna volymtyper med effekten Deny, och undanta hostPath från de tillåtna volymtyperna för att blockera poddar som försöker montera volymer av typen hostPath.
Nästa steg
Lär dig hur du implementerar podsandboxning på AKS.