Uw on-premises HPC-migratie naar de cloud plannen

'Lift and shift' in de context van High-Performance Computing (HPC) verwijst meestal naar het proces van het migreren van een on-premises omgeving en workload naar de cloud. In het ideale geval worden wijzigingen tot een minimum beperkt (bijvoorbeeld toepassingen, jobplanners en hun configuraties moeten meestal hetzelfde blijven). Aanpassingen aan opslag en hardware zijn natuurlijk, omdat resources verschillen van on-premises naar cloudplatforms. Met de lift-and-shift-benadering kunnen organisaties sneller profiteren van cloudtechnologieën.

De volgende afbeelding vertegenwoordigt een typisch on-premises HPC-cluster in een productieomgeving, die de hardwarefabrikant vaak levert. Een dergelijke on-premise omgeving bestaat uit een set rekenknooppunten die wel of niet werken met virtuele machine-images en containers. Dergelijke knooppunten voeren workloads uit die worden beheerd door een taakplanner, die doorgaans Slurm, PBS of LSF kan zijn. De workloads zijn afkomstig van meerdere gebruikers waaraan identiteitsbeheer is gekoppeld. Meestal zijn er thuismappen, scratchschijven en langetermijnopslag. Een vorm van bewaking om de prestaties van taken en status van rekenknooppunten te controleren, zijn ook beschikbaar. Gebruikers hebben toegang tot de omgeving via opdrachtregels, browsers of een soort externe visualisatietechnologie. De hele omgeving wordt gehost in een particulier netwerk, zodat gebruikers een mechanisme hebben voor toegang tot de computerfaciliteit, via VPN of via de portal.

Zoals we in dit document zien, is de omgeving in de cloud die het model Infrastructure-as-a-Service volgt, conceptueel gezien niet zo verschillend. Sommige technologieën hebben enkele updates nodig en sommige stappen tijdens de migratie van on-premises naar de cloud zijn nodig.

Dit document bevat daarom:

• Doorloopt de opties voor het migratieproces;
• Verwijst naar producten en aanbevolen procedures voor elk onderdeel;
• En biedt aanbevelingen om valkuilen in het proces te voorkomen.

Voordat u in de beschrijving van de architectuur springt, is het relevant om inzicht te hebben in de verschillende persona's in deze context, hun behoeften en verwachtingen.

Persona's en gebruikerservaring

Er zijn verschillende personen die toegang nodig hebben tot de HPC-omgeving. Hun activiteiten en hoe ze met de omgeving communiceren, variëren nogal wat.

Eindgebruiker (engineer/ wetenschapper/onderzoeker)

Deze persona vertegenwoordigt de onderwerpexpert (bijvoorbeeld bioloog, fysicus, technicus, enz.) die experimenten wil uitvoeren (dat wil wel taken indienen) en resultaten analyseren. Eindgebruikers communiceren met systeembeheerders om de computeromgeving zo nodig af te stemmen. Ze hebben mogelijk enige ervaring met het gebruik van CLI-hulpprogramma's, maar sommige ervan zijn mogelijk alleen afhankelijk van webportals of grafische gebruikersinterfaces via VDI om hun taken te verzenden en te communiceren met de gegenereerde resultaten.

Nieuwe verantwoordelijkheden in de HPC-cloudomgeving:

• Eindgebruikers mogen geen nieuwe verantwoordelijkheden hebben op basis van het werk van zowel de HPC-beheerder als de cloudbeheerder. Afhankelijk van de on-premises omgeving hebben eindgebruikers toegang tot een grotere capaciteit en verschillende rekenresources om productiever te worden.

HPC-beheerder

Deze persona vertegenwoordigt de persoon die HPC-expertise heeft en verantwoordelijk is voor het implementeren van de initiële computerinfrastructuur en het aanpassen van de infrastructuur op basis van zakelijke en eindgebruikersbehoeften. Deze persona is ook verantwoordelijk voor het verifiëren van de status van het systeem en het uitvoeren van probleemoplossing. HPC-beheerders hebben toegang tot de architectuur en de bijbehorende onderdelen via CLI, SDK's en webportals. Ze zijn ook het eerste contactpunt wanneer eindgebruikers een uitdaging ondervinden met de computeromgeving.

Nieuwe verantwoordelijkheden in de HPC-cloudomgeving:

• Cloudresources en -services (bijvoorbeeld virtuele machines, opslag, netwerken) beheren via cloudbeheerplatforms.
• Clusters en resources implementeren en beheren via nieuwe hulpprogramma's voor resourceindeling (bijvoorbeeld CycleCloud).
• Toepassingsimplementatie optimaliseren door inzicht te krijgen in infrastructuurdetails (dat wil gezegd VM-typen, opslag en netwerkopties).
• Resourcegebruik en -kosten optimaliseren met behulp van cloudspecifieke functies, zoals automatisch schalen en spot-exemplaren.

Cloudbeheerder

Deze persona werkt met de HPC-beheerder om de computerinfrastructuur te implementeren en te onderhouden. Deze persona is niet (noodzakelijkerwijs) een HPC-expert, maar een cloudexpert met diepgaande kennis van de algehele IT-infrastructuur van het bedrijf, waaronder netwerkconfiguraties/beleid, gebruikerstoegangsrechten en gebruikersapparaten. Afhankelijk van het geval zijn de HPC-beheerder en cloudbeheerder mogelijk dezelfde persoon.

Nieuwe verantwoordelijkheden in de HPC-cloudomgeving:

• Samenwerken met HPC-beheerders om een naadloze integratie van HPC-workloads met cloudinfrastructuur te garanderen.
• Prestaties, beveiliging en naleving van cloudinfrastructuur bewaken en beheren.
• Hulp bij de configuratie van cloudgebaseerde netwerk- en opslagoplossingen ter ondersteuning van HPC-workloads.

Business Manager/eigenaar

Deze persona vertegenwoordigt degene die verantwoordelijk is voor het bedrijf, waaronder het verzorgen van budget en projecten om te voldoen aan de doelstellingen van de organisatie. Voor deze persona is het boekhoudonderdeel van de architectuur relevant om de kosten voor elk project te begrijpen. Deze persona werkt samen met HPC-beheerders en eindgebruikers om inzicht te krijgen in de behoeften van het platform, waaronder opslag, netwerk, computingresources. Ze zijn ook van plan voor toekomstige workloads.

Nieuwe verantwoordelijkheden in de HPC-cloudomgeving:

• Het analyseren van gedetailleerde kostenrapporten en metrische gegevens over gebruik die worden geleverd door cloudserviceproviders om budgetten te beheren en uitgaven te voorspellen.
• Strategische beslissingen nemen op basis van cloudresourcegebruik en mogelijkheden voor kostenoptimalisatie.
• Planning en goedkeuring van investeringen in cloudinfrastructuur ter ondersteuning van toekomstige HPC-workloads en bedrijfsdoelstellingen.

Overzicht van lift-and-shift-architectuur

Een HPC-productieomgeving in de cloud bestaat uit verschillende onderdelen. Er zijn enkele kernonderdelen voor het opzetten van een omgeving, zoals een taakplanner, een resourceprovider, een toegangspunt voor de gebruiker om toegang te krijgen tot de omgeving, reken- en opslagapparaten, etc. Naarmate de omgeving in productie gaat, bewaking, waarneembaarheid, statuscontroles, beveiliging, identiteitsbeheer, verantwoordelijkheid, verschillende opslagopties, onder andere onderdelen, beginnen ze een kritieke rol te spelen.

Er zijn ook extensies die kunnen worden geïmplementeerd, zoals aanmeldingsknooppunten, gegevensverplaatsers, het gebruik van containers, licentiebeheerders, onder andere die afhankelijk zijn van de installatie.

Deze omgeving op productieniveau kan verschillende onderdelen hebben die moeten worden ingesteld. Daarom worden omgevingsplanners en -managers essentieel om de initiële uitrol te automatiseren en deze onderweg te verbeteren. Meer geavanceerde installaties kunnen ook omgevingssjablonen (of specificaties) hebben met softwareversies en configuraties die optimaal zijn en goed worden getest. Zodra de omgeving in productie is met alle vereiste onderdelen, kunnen er na verloop van tijd aanpassingen nodig zijn om te voldoen aan de gebruikersvereisten, inclusief wijzigingen in VM-typen of opslagopties/-mogelijkheden.

De lift-and-shift HPC-cloudarchitectuur instantiëren

Hier vindt u meer informatie over elk architectuuronderdeel, met inbegrip van aanwijzers naar officiële Azure-producten, techblogs met enkele aanbevolen procedures, Git-opslagplaatsen en koppelingen naar niet-productoplossingen.

Snel aan de slag. Voor een snelstartoplossing voor het maken van een HPC-omgeving in de cloud met basisbouwstenen raden we u aan azure CycleCloud Slurm-werkruimte te gebruiken.