Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Slurm jest jednym z najpopularniejszych i powszechnie używanych menedżerów obciążeń typu open source na potrzeby sztucznej inteligencji, HPC i przetwarzania w chmurze. Za pomocą narzędzia Slurm można uruchamiać aplikacje równoległe i rozproszone na dużą skalę w zestawie węzłów obliczeniowych. Udostępnia funkcje, takie jak planowanie zadań, zarządzanie zasobami, odporność na uszkodzenia i zarządzanie energią. Wiele z najlepszych na świecie superkomputerów, instytutów badawczych, uniwersytetów i przedsiębiorstw korzysta z Slurm.
Jednak konfigurowanie klastrów Slurm w chmurze i zarządzanie nimi może być trudne i czasochłonne, zwłaszcza jeśli nie znasz środowiska chmury lub konfiguracji Slurm. Należy obsługiwać zadania, takie jak aprowizowanie i skalowanie węzłów obliczeniowych, instalowanie i aktualizowanie oprogramowania Slurm, konfigurowanie sieci i magazynu, monitorowanie kondycji i wydajności klastra oraz rozwiązywanie problemów. Te zadania mogą odwrócić uwagę od podstawowych celów badawczych lub biznesowych oraz zmniejszyć produktywność i wydajność obciążeń sztucznej inteligencji i HPC.
Azure CycleCloud Workspace for Slurm to szablon rozwiązania witryny Azure Marketplace, którego można użyć do tworzenia, konfigurowania i wdrażania wstępnie zdefiniowanych klastrów Slurm za pomocą rozwiązania CycleCloud na platformie Azure. Nie potrzebujesz wcześniejszej znajomości Azure czy Slurm, aby wdrożyć szablon, ale obsługa i dostosowywanie środowiska wymaga tych umiejętności. Rozwiązanie wstępnie konfiguruje klastry Slurm z PMix v4, Pyxis i enroot do obsługi konteneryzowanych zadań AI/HPC w systemie Slurm. Możesz uzyskać dostęp do skonfigurowanego węzła logowania, korzystając z SSH lub Visual Studio Code, aby wykonać typowe zadania, takie jak wysyłanie i zarządzanie zadaniami Slurm.
Usługa Azure CycleCloud umożliwia już wykonywanie niektórych z tych zadań, ale nie wdraża infrastruktury AI/HPC. Należy radzić sobie z zadaniami, takimi jak instalowanie i konfigurowanie usługi CycleCloud, konfigurowanie sieci i magazynu oraz tworzenie i konfigurowanie klastra Slurm. Obszar roboczy usługi Azure CycleCloud dla programu Slurm wykonuje te zadania w szablonie rozwiązania marketplace, który można wdrożyć bezpośrednio z witryny Azure Portal lub za pośrednictwem interfejsu wiersza polecenia platformy Azure. Wszystko jest gotowe w ciągu kilku minut, a nie dni lub tygodni.
Wybierz opcję orkiestracji Azure
Wybierz opcję na podstawie doświadczenia planisty oraz poziomu kontroli infrastruktury, jakiej potrzebuje Twój zespół:
| Option | Najlepsze dopasowanie | Model działania |
|---|---|---|
| Azure CycleCloud Workspace for Slurm | Zespoły, które chcą gotowego do wdrożenia środowiska Slurm dla obciążeń HPC lub AI | Rozwiązanie Marketplace wdraża komponenty CycleCloud, Slurm, sieci, przechowywanie i dostęp w Twojej subskrypcji Azure. |
| Azure CycleCloud | Środowiska HPC wymagające harmonogramu innego niż Slurm, niestandardowej topologii klastra lub bliskiego dopasowania do istniejących lokalnych przepływów pracy | Instalujesz CycleCloud i konfigurujesz harmonogram, klaster, sieć i pamięć masową. CycleCloud udostępnia i automatycznie skaluje infrastrukturę Azure. |
| Azure Batch | Równoległe obciążenia i obciążenia o wysokiej przepustowości, które nie wymagają obsługiwania oprogramowania harmonogramującego | Azure zapewnia planowanie jako usługę. Tworzysz przy użyciu interfejsów API usługi Batch i narzędzi, a usługa Batch zarządza pulami, węzłami, zadaniami i czynnościami. |
Wykorzystaj swoje obecne otoczenie jako decydujący czynnik:
| Punkt początkowy | Woleć | Dlaczego |
|---|---|---|
| Chcesz Slurm, a zdefiniowana architektura sieci, przechowywania, dostępu i klastra spełnia Twoje wymagania. | obszar roboczy Azure CycleCloud dla programu Slurm | Rozwiązanie Marketplace skraca drogę do działającego środowiska Slurm, zachowując jednocześnie zasoby w Twojej subskrypcji. |
| Potrzebujesz systemu harmonogramowania innego niż Slurm lub musisz dostosować topologię, zasady harmonogramowania lub infrastrukturę w sposób wykraczający poza projekt rozwiązania. | Azure CycleCloud | CycleCloud zapewnia kontrolę nad konfiguracją planisty i klastra. |
| Twoja aplikacja może korzystać z pul, zadań i zadań i nie wymaga kompatybilności z harmonogramem. | Azure Batch | Batch zapewnia planowanie jako usługę i eliminuje potrzebę obsługi Slurm. |
Nie wybieraj Workspace for Slurm, jeśli oczekujesz w pełni zarządzanej usługi platformowej. Twój zespół nadal posiada wdrożone zasoby Azure, konfigurację Slurm, bezpieczeństwo, monitoring, aktualizacje i operacje obciążenia. Wybierz niestandardowy CycleCloud, gdy zdefiniowana architektura nie spełnia wymaganej topologii lub integracji.
Przed wdrożeniem produkcyjnym zapisz, dlaczego rozwiązanie Workspace for Slurm jest odpowiednie, które alternatywy odrzucono, czy wdrożenie jest typu greenfield, czy wykorzystuje istniejące zasoby, projekt sieci i tożsamości, benchmark pamięci masowej, regionalny limit przydziału i dostępną pojemność maszyn wirtualnych, strategię odzyskiwania, osobę odpowiedzialną za operacje oraz czas i koszt dla reprezentatywnego zadania. Zacznij od planowania wdrożenia. Informacje o niestandardowym klastrze CycleCloud można znaleźć tutaj: Planowanie i dobieranie rozmiaru klastrów HPC.
Zalety obszaru roboczego usługi Azure CycleCloud dla programu Slurm
Usługa Azure CycleCloud to doskonałe rozwiązanie, gdy chcesz utworzyć środowisko sztucznej inteligencji/HPC na platformie Azure, aby podnieść i przenieść niektóre lokalne obciążenie sztucznej inteligencji/HPC lub utworzyć nowe. Jednak tworzenie pełnego kompleksowego środowiska sztucznej inteligencji/HPC nie jest łatwym zadaniem. Musisz zdecydować, jak zaprojektować sieć, który składnik magazynu ma być używany jako udostępniony system plików, który typ maszyny wirtualnej ma być używany do uruchamiania obciążenia, oraz wiele małych elementów, które mogą sprawić, że projekt będzie złożony do realizacji.
Usługa Azure CycleCloud Workspace for Slurm oferuje kilka korzyści dla użytkowników, którzy chcą uruchamiać obciążenia Slurm na platformie Azure, takie jak:
Łatwe i szybkie tworzenie klastrów: klastry Slurm można tworzyć na platformie Azure w ciągu kilku minut, wykonując kilka prostych kroków w graficznym interfejsie użytkownika. Ten proces jest szybszy niż dni lub tygodnie pracy w przeszłości bez usługi Azure CycleCloud Workspace for Slurm. Możesz wybrać różne rozmiary i typy maszyn wirtualnych platformy Azure. Możesz dostosować ustawienia klastra, takie jak liczba węzłów, konfiguracja sieci, opcje magazynu z usługi Azure NetApp Files do zarządzanego systemu plików Lustre platformy Azure oraz parametry Slurm.
Elastyczne i dynamiczne zarządzanie klastrami: usługa Azure CycleCloud skaluje klastry Slurm w górę lub w dół. Możesz monitorować stan klastra, wydajność i wykorzystanie. Dzienniki i metryki klastra można wyświetlić w graficznym interfejsie użytkownika. Możesz również usunąć klastry Slurm, gdy nie są już potrzebne i płacić tylko za używane zasoby.
Jak utworzyć obszar roboczy usługi Azure CycleCloud dla programu Slurm?
Obszar roboczy usługi Azure CycleCloud dla programu Slurm można wdrożyć z witryny Azure Marketplace lub przy użyciu interfejsu wiersza polecenia platformy Azure. Aby wdrożyć z witryny Marketplace, wyszukaj pozycję Slurm, a następnie wybierz pozycję Utwórz. Aby wdrożyć przy użyciu interfejsu wiersza polecenia platformy Azure, najpierw należy utworzyć plik parametrów wejściowych, a następnie wdrożyć przy użyciu az deployment sub create polecenia . Aby uzyskać szczegółowe instrukcje, zobacz jak wdrożyć środowisko obszaru roboczego CycleCloud Slurm przy użyciu interfejsu wiersza polecenia.
Czym nie jest obszar roboczy Azure CycleCloud dla Slurm?
Obszar roboczy usługi Azure CycleCloud dla rozwiązania Slurm nie jest usługą PaaS. Cała infrastruktura jest wdrażana w dzierżawcy, co umożliwia wdrożenie wszystkich elementów (wdrożenie greenfield) lub określenie istniejących zasobów do ponownego użycia (wdrożenie brązowe), takich jak docelowa grupa zasobów, sieć wirtualna, usługa Azure NetApp Files i wiele innych możliwości.
Jak wygląda obszar roboczy Azure CycleCloud dla środowiska wdrożonego z użyciem Slurm
Poniżej przedstawiono typową architekturę wdrażania obszaru roboczego usługi Azure CycleCloud dla programu Slurm. Architektura obejmuje obowiązkowe zasoby, takie jak maszyna wirtualna do uruchamiania CycleCloud, udostępniony system plików dla katalogów domowych użytkowników oraz konto magazynu dla przechowywania projektów CycleCloud.
Obszar roboczy usługi Azure CycleCloud dla programu Slurm może wdrożyć sieć wirtualną lub użyć istniejącej sieci wirtualnej do tworzenia zasobów. Opcjonalnie możesz utworzyć zarządzany system plików Lustre platformy Azure we własnej podsieci.
Jeśli zasady ochrony firmowej nie zezwalają na publiczne adresy IP (i często mają takie ograniczenia), możesz utworzyć komunikację równorzędną sieci wirtualnej z istniejącą siecią wirtualną według schematu z piastą i szprychami. Centrum zawiera wszystkie usługi łączności, takie jak brama sieci wirtualnej lub usługa Azure Bastion.
Na koniec w środowisku bez publicznego adresu IP i bez sieci VPN potrzebujesz usługi Bastion. Usługa Bastion zapewnia bezpieczny dostęp do portalu internetowego CycleCloud i umożliwia nawiązywanie połączenia z węzłami uwierzytelniania za pomocą protokołu SSH.