Taakverdeling
- 15 minuten
De behoefte aan taakverdeling in computing komt voort uit twee basisvereisten: Eerst kan hoge beschikbaarheid worden verbeterd door replicatie. Ten tweede kunnen de prestaties worden verbeterd via parallelle verwerking. Hoge beschikbaarheid is de eigenschap van een service die bijna 100% van de tijd beschikbaar is wanneer een client probeert de service te gebruiken. De QoS (Quality of Service) voor een bepaalde service omvat meestal verschillende aandachtspunten, zoals vereisten ten aanzien van doorvoer en latentie.
Wat is taakverdeling?
De bekendste vorm van taakverdeling is round robin-DNS. Deze techniek wordt door veel grote webservices gebruikt om aanvragen over een aantal servers te verdelen. Met name meerdere front-endwebservers, elk met een uniek IP-adres, kunnen een DNS-naam delen. Om het aantal aanvragen over elk van deze webservers te verdelen, houden grote bedrijven zoals Google een pool met IP-adressen bij die zijn gekoppeld aan elke DNS-vermelding. Wanneer een client een aanvraag indient (bijvoorbeeld naar het domein www.google.com), selecteert De DNS van Google een van de beschikbare adressen uit de pool en verzendt deze naar de client. De eenvoudigste strategie voor het verzenden van IP-adressen is het gebruik van een round robin-wachtrij, waarbij de lijst met adressen na elke DNS-reactie wordt gepermuteerd.
Vóór de komst van de cloud was DNS-taakverdeling een eenvoudige manier om de latentie van verbindingen over lange afstanden te verminderen. De dispatcher van de DNS-server was geprogrammeerd om te reageren met het IP-adres van de server die zich geografisch het dichtst in de buurt van de client bevond. De eenvoudigste manier hiervoor was reageren met het IP-adres uit de pool die zich numeriek het dichtst bij het IP-adres van de client bevond. Deze methode was natuurlijk onbetrouwbaar, omdat IP-adressen niet worden gedistribueerd in een globale hiërarchie. De huidige technieken zijn geavanceerder en zijn afhankelijk van een softwaretoewijzing van IP-adressen aan locaties op basis van fysieke toewijzingen van internetproviders (ISP's). Omdat dit wordt geïmplementeerd als een dure softwarezoekopdracht, levert deze methode nauwkeurigere resultaten op, maar is het kostbaar om te berekenen. De kosten voor een langzame zoekactie worden echter afgeschreven omdat de DNS-zoekopdracht alleen plaatsvindt wanneer de eerste verbinding met een server door de client wordt gemaakt. Alle volgende communicatie vindt direct plaats tussen de client en de server die eigenaar is van het verzonden IP-adres. In de volgende afbeelding ziet u een voorbeeld van een schema voor DNS-taakverdeling.
Afbeelding 4: Taakverdeling in een cloudhostingomgeving
Het nadeel van deze methode is dat bij een serverfout de overschakeling naar een ander IP-adres afhankelijk is van de configuratie van de TTL (Time-To-Live) van de DNS-cache. Van DNS-vermeldingen is bekend dat ze een lange levensduur hebben en dat het uitvoeren van updates over internet meer dan een week kan duren. Hierdoor is het lastig om een serverfout snel te 'verbergen' voor de client. Dit kan worden verbeterd door de geldigheid (TTL) van een IP-adres in de cache te beperken, maar hierdoor nemen de prestaties af en wordt het aantal zoekopdrachten hoger.
Moderne taakverdeling verwijst vaak naar het gebruik van een toegewezen instantie (of een paar instanties) die binnenkomend verkeer omleidt naar de back-endservers. Voor elke binnenkomende aanvraag op een opgegeven poort stuurt de load balancer het verkeer, op basis van een distributiestrategie, naar een van de back-endservers. Hierdoor beheert de load balancer de metagegevens van de aanvraag, inclusief informatie zoals toepassingsprotocolheaders (bijvoorbeeld HTTP-headers). In deze situatie hoeft u zich geen zorgen te maken over verouderde gegevens, aangezien elke aanvraag via de load balancer loopt.
Hoewel alle soorten load balancers in een netwerk de gegevens van de gebruiker samen met eventuele context doorsturen naar de back-endservers, wordt bij het terugsturen van reacties naar de client mogelijk een van twee basisstrategieën gebruikt:1
- Proxying: In deze benadering ontvangt de load balancer het antwoord van de back-end en stuurt deze terug naar de client. De load balancer gedraagt zich als een standaardwebproxy en is betrokken bij beide delen van een netwerktransactie, namelijk bij het doorsturen van de aanvraag naar de client en bij het terugsturen van het antwoord.
- TCP-overdrachtsmechanisme Bij deze methode wordt de TCP-verbinding met de client overgedragen aan de back-endserver. Om die reden stuurt de server de reactie direct naar de client, dus niet via de load balancer.
Afbeelding 5: TCP-overdrachtsmechanisme van de dispatcher naar de back-endserver
Invloed op beschikbaarheid en prestaties
Taakverdeling is een belangrijke strategie om storingen in een systeem te verhullen. Zo lang de client van het systeem wordt blootgesteld aan één eindpunt dat de belasting verdeelt over verschillende resources, kunnen storingen in afzonderlijke resources worden verhuld aan de client door de aanvraag door een andere resource te laten uitvoeren. Het is echter belangrijk om u te realiseren dat de load balancer dan een Single Point of Failure vormt voor de service. Als er om wat voor reden dan ook iets misgaat, worden er geen clientaanvragen verwerkt, zelfs niet als alle back-endservers nog steeds functioneren. Om een hoge beschikbaarheid te realiseren, worden load balancers dan ook vaak in paren geïmplementeerd.
Taakverdeling stelt een service in staat om workloads te verdelen over verschillende rekenresources in de cloud. Wanneer u maar één rekeninstantie in de cloud hebt, gelden er verschillende beperkingen. Eerder hebben we de fysieke beperkingen qua prestaties besproken, waarbij er meer resources nodig zijn voor het vergroten van workloads. Door taakverdeling te gebruiken, kunnen grotere aantallen workloads worden gedistribueerd over meerdere resources, zodat elke resource de aanvragen onafhankelijk en parallel kan uitvoeren, waardoor de doorvoer van de toepassing wordt verbeterd. Taakverdeling verbetert ook de gemiddelde servicetijden omdat er meer servers zijn om de workload te verwerken.
Controle en monitoring van services is essentieel voor het slagen van taakverdelingsstrategieën. Een load balancer moet ervoor zorgen dat elke aanvraag wordt uitgevoerd door ervoor te zorgen dat elk resourceknooppunt beschikbaar is. Als dat niet zo is, wordt er geen verkeer omgeleid naar dat specifieke knooppunt. Ping-echo monitoring is een van de populairste tactieken om de status van een specifiek resourceknooppunt te controleren. Naast de status van een knooppunt, vereisen sommige strategieën voor taakverdeling aanvullende gegevens zoals doorvoer, latentie en CPU-gebruik om vast te stellen wat de meest geschikte resource is voor het ontvangen van verkeer.
Load balancers moeten vaak hoge beschikbaarheid garanderen. De eenvoudigste manier om dit te doen is door meerdere taakverdelingsinstanties (elk met een uniek IP-adres) te maken en elke instantie te koppelen aan één DNS-adres. Wanneer een instantie van een load balancer om een of andere reden mislukt, wordt deze vervangen door een nieuwe en wordt al het verkeer doorgegeven aan de failoverinstantie, met nauwelijks gevolgen voor de prestaties. Er kan tegelijkertijd een nieuwe load balancer-instantie worden geconfigureerd om de mislukte load balancer te vervangen, en de DNS-records moeten onmiddellijk worden bijgewerkt.
Strategieën voor taakverdeling
Er worden verschillende strategieën voor taakverdeling gebruikt in de cloud.
Evenwichtige verzending
Dit is een statische aanpak van taakverdeling waarbij een eenvoudig round robin-algoritme wordt gebruikt om het verkeer gelijkmatig te verdelen over alle knooppunten, zonder rekening te houden met het gebruik van een individueel resourceknooppunt node in het systeem of de uitvoeringstijd van een aanvraag. Bij deze aanpak wordt geprobeerd elk knooppunt in het systeem bezig te houden en dit is een van de eenvoudigste strategieën om te implementeren. Een groot nadeel van deze aanpak is dat zware aanvragen van clients mogelijk worden samengevoegd en bij dezelfde datacenters terechtkomen, waardoor een paar knooppunten overbelast raken terwijl andere knooppunten onderbenut blijven. Dit gebeurt echter alleen met een zeer specifiek belastingspatroon en de kans is klein dat dit in de praktijk plaatsvindt bij een groot aantal clients en servers met een redelijk uniforme verdeling en capaciteit. Deze strategie maakt het echter lastig om cachingstrategieën te implementeren in het datacenter die rekening houden met overwegingen zoals ruimtelijke nabijheid, aangezien de volgende aanvraag door dezelfde client op een andere server kan eindigen. Met ruimtelijke nabijheid bedoelen we hier het vooraf ophalen van gegevens in de buurt van de nu opgevraagde gegevens en deze opslaan in de cache voor betere prestaties.
AWS gebruikt deze aanpak in het abonnement met ELB (Elastic Load Balancer). AWS ELB werkt met load balancers die het verkeer verdelen over de gekoppelde EC2-instanties. Load balancers zijn in wezen zelf ook EC2-instanties met als specifieke taak verkeer om te leiden. Wanneer de resources achter de load balancer worden uitgeschaald, worden de IP-adressen van de nieuwe resources bijgewerkt in de DNS-record van de load balancer. Dit proces duurt enkele minuten, omdat zowel de monitoring als de inrichting tijd kost. Deze periode van schalen (de tijd totdat de load balancer gereed is voor het verwerken van de hogere belasting) wordt aangeduid als het 'opwarmen' van de load balancer.
Ook worden met de ELB-load balancers van AWS de resources bewaakt die aan de load balancer zijn gekoppeld, voor de verdeling van workloads om een statuscontrole te onderhouden. Een ping-echo-mechanisme wordt gebruikt om ervoor te zorgen dat alle resources in orde zijn. ELB-gebruikers kunnen de parameters van de statuscontrole configureren door de vertragingen en het aantal nieuwe pogingen op te geven.
Hash-distributie
Bij deze aanpak is het de bedoeling dat de aanvragen die een client verstuurt via een bepaalde verbinding altijd op dezelfde server terechtkomen. Om het verkeer dat gekoppeld is aan aanvragen ook nog eens evenredig te verdelen, gebeurt dit in willekeurige volgorde. Dit heeft verschillende voordelen ten opzichte van de round robin-methode, bijvoorbeeld omdat er in sessiebewuste toepassingen veel eenvoudiger strategieën voor persistentie van status en caching kunnen worden uitgevoerd. Daarnaast is deze aanpak veel minder vatbaar voor verkeerspatronen die overbelasting van een bepaalde server veroorzaken aangezien de verdeling willekeurig is, maar het risico blijft aanwezig. Aangezien voor elke aanvraag echter metagegevens voor de verbinding moeten worden geëvalueerd om de aanvraag te kunnen routeren naar een relevante server, geldt dat er voor elke aanvraag sprake is van een kleine hoeveelheid latentie.
Azure Load Balancer gebruikt een dergelijk distributiemechanisme op basis van een hash om belasting te verdelen. Met dit mechanisme wordt voor elke aanvraag een hash gemaakt op basis van bron-IP, bronpoort, doel-IP, doelpoort en protocoltype om ervoor te zorgen dat elk pakket van dezelfde verbinding op dezelfde server terechtkomt. De hash-functie wordt gebruikt, zodat de verdeling van verbindingen met servers redelijk willekeurig is.
Azure biedt statuscontroles via drie typen tests: gastagenttests (op PaaS-VM's), aangepaste HTTP-tests en aangepaste TCP-tests. Alle drie de tests zorgen voor een statuscontrole van de resourceknooppunten via een ping-echo mechanisme.
Andere populaire strategieën
Er zijn andere strategieën voor het verdelen van de belasting over meerdere resources. Elke strategie gebruikt andere metrische gegevens om te bepalen wat het meest geschikte resourceknooppunt is voor een bepaalde aanvraag:
- Strategieën op basis van uitvoeringstijd van aanvragen: deze strategieën gebruiken een algoritme voor prioriteitsplanning, waarbij uitvoeringstijden van aanvragen worden gebruikt om de meest geschikte volgorde van belastingdistributie te beoordelen. De belangrijkste uitdaging bij het gebruik van deze methode is om de uitvoeringstijd van een aanvraag nauwkeurig te voorspellen.
- Strategieën op basis van resourcegebruik: deze strategieën gebruiken het CPU-gebruik op elk resourceknooppunt om het gebruik over elk knooppunt te verdelen. De load balancers houden een geordende lijst van resources bij op basis van hun gebruik en leiden aanvragen vervolgens om naar het minst belaste knooppunt.
Overige voordelen
Als u de beschikking hebt over een centrale load balancer, zijn er verschillende strategieën mogelijk om de prestaties van de service te verbeteren. Het is echter wel belangrijk om u te realiseren dat deze strategieën alleen werken wanneer de load balancer niet onoverkomelijk is belast. In dat geval wordt de load balancer namelijk zelf het knelpunt. Hieronder worden enkel van deze strategieën genoemd:
- SSL-offload: netwerktransacties via SSL hebben extra kosten, omdat ze verwerking moeten hebben voor versleuteling en verificatie. In plaats van alle aanvragen via SSL te laten lopen, kan de clientverbinding met de load balancer via SSL tot stand worden gebracht, terwijl omgeleide aanvragen naar elke afzonderlijke server via HTTP kunnen worden afgehandeld. Hierdoor wordt de belasting van de servers aanzienlijk verminderd. Daarnaast wordt de beveiliging gehandhaafd zolang de omleidingsaanvragen niet worden uitgevoerd via een open netwerk.
- TCP-buffering: dit is een strategie voor het offloaden van clients met trage verbindingen met de load balancer om servers te verlichten die reacties op deze clients leveren.
- Caching: In bepaalde scenario's kan de load balancer een cache onderhouden voor de populairste aanvragen (of aanvragen die kunnen worden verwerkt zonder naar de servers te gaan, zoals statische inhoud), zodat de belasting op de servers wordt verminderd.
- Het vormgeven van verkeer: Voor sommige toepassingen kan een load balancer worden gebruikt om de stroom van pakketten te vertragen/opnieuw te herpriritiseren, zodat verkeer kan worden gevormd voor de serverconfiguratie. Dit heeft weliswaar invloed op de QoS voor sommige aanvragen, maar garandeert wel dat de binnenkomende belasting kan worden verwerkt.
Verwijzingen
- Aron, Mohit en Sanders, Darren en Druschel, Peter en Zwaenepoel, Willy (2000). Schaalbare inhoudsbewuste aanvraagdistributie op clusternetwerkservers van Proceedings of the 2000 Annual USENIX technical Conference
Kennis testen
Feedback
Is deze pagina nuttig?
No
Hulp nodig bij dit onderwerp?
Wilt u Ask Learn gebruiken om iets te verduidelijken of u door dit onderwerp te leiden?