Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
W tym artykule opisano sposób wydajnego uruchamiania obciążeń korzystających z węzłów procesora graficznego (GPU) w klastrze usługi Azure Kubernetes Service (AKS). Dowiedz się, jak wybrać odpowiednią jednostkę SKU, użyć węzłów procesora GPU do trenowania modeli uczenia maszynowego i użyć węzłów procesora GPU do uruchamiania wnioskowania w usłudze AKS.
Scenariusze
Obciążenia procesora GPU mogą być kosztowne do uruchomienia. Aby uniknąć niepotrzebnych kosztów, dowiedz się, kiedy wdrożyć węzły oparte na procesorze GPU w klastrach usługi AKS.
Procesory GPU są specjalnie zaprojektowane na potrzeby grafiki, sztucznej inteligencji i uczenia maszynowego oraz wyspecjalizowanych zadań, co czyni je idealnym rozwiązaniem w przypadku obciążeń intensywnie korzystających z obliczeń. Centralne jednostki przetwarzania skutecznie zarządzają złożoną logiką i rozgałęzianiami. Procesory GPU są zoptymalizowane pod kątem przepływności i wydajnie obsługują podstawowe operacje arytmetyczne i wektorowe.
Aby określić, kiedy należy używać procesorów GPU dla obciążeń usługi AKS, należy zrozumieć optymalizację procesora GPU, intensywność obliczeń i inne czynniki wpływające na wydajność. Aby uzyskać lepszy wgląd w użycie procesora GPU dla obciążeń usługi AKS, rozważ następujące przykłady obciążeń, które korzystają z węzłów procesora GPU w klastrze usługi AKS.
Nauka o danych i analiza
Użyj procesorów GPU, aby przyspieszyć wstępne przetwarzanie danych, inżynierię cech i trenowanie modeli w przepływach pracy nauki o danych. Aby wydajnie korzystać z procesorów GPU, struktury takie jak Apache Spark, RAPIDS i obsługa procesora GPU w języku Dask rozszerzają popularne biblioteki przetwarzania danych, takie jak pandas i scikit-learn.
Oprogramowanie typu open source (OSS) oraz przyspieszane silniki zapytań SQL i kolumnowe bazy danych, takie jak HeavyDB, używają jednostek GPU do wykonywania zapytań i analiz na dużych zestawach danych.
Uczenie maszynowe i uczenie głębokie
Popularne platformy uczenia maszynowego i uczenia głębokiego, takie jak TensorFlow, PyTorch, Ray, vLLM i Triton Inference Server , korzystają z procesorów GPU, ponieważ przyspieszają zadania trenowania modeli i wnioskowania. Na przykład usługa Azure Machine Learning obsługuje model o wysokiej wydajności obsługujący zarządzany punkt końcowy online przy użyciu serwera Triton Inference Server. Wybierz rozmiar maszyny wirtualnej z obsługą procesora GPU na podstawie rozmiaru modelu, wymagań dotyczących pamięci, przepływności i obsługiwanych regionów. Aby uzyskać więcej informacji, zobacz Pule węzłów z obsługą procesora GPU w usłudze AKS.
Modele uczenia głębokiego używają złożonych sieci neuronowych. Przetwarzanie równoległe na procesorach GPU przyspiesza obliczenia. Procesory GPU zapewniają wysoce wydajne mnożenie macierzy i operacje splotu, które są podstawowymi operacjami w uczeniu głębokim.
Za pomocą procesorów GPU można również przyspieszyć zadania, takie jak klasyfikacja obrazów, wykrywanie obiektów, przetwarzanie języka naturalnego i rozpoznawanie mowy.
Wizja komputerowa i przetwarzanie obrazów
Zadania przetwarzania obrazów interpretują dane wizualne w celu wyodrębnienia znaczących informacji. Te zadania pojawiają się w aplikacjach opartych na sztucznej inteligencji, takich jak pojazdy autonomiczne, obrazowanie medyczne, systemy nadzoru i rzeczywistość rozszerzona. Procesory GPU używają przetwarzania równoległego do wydajnego obsługi danych obrazów na dużą skalę i złożonych obliczeń na potrzeby zadań takich jak wykrywanie obiektów, klasyfikacja obrazów i wyodrębnianie funkcji.
Przetwarzanie wideo i przesyłanie strumieniowe
Obciążenia, które transkodują, kodują i przesyłają strumieniowo wideo, intensywnie korzystają z zasobów obliczeniowych, zwłaszcza jeśli mają zawartość o wysokiej rozdzielczości. Procesory GPU zapewniają wydajną platformę do przetwarzania wideo o małych opóźnieniach i wysokiej przepływności w aplikacjach, takich jak strumienie wydarzeń sportowych i wideo firmowe.
Węzły użytkownika z obsługą procesora GPU mogą przekazywać zadania intensywnie korzystające z grafiki do procesora GPU w środowiskach pulpitu wirtualnego. Funkcje kodowania i dekodowania wideo, które korzystają z procesorów GPU, obsługują przesyłanie strumieniowe wideo w czasie rzeczywistym, transkodowanie i analizę.
Aby przyspieszyć zadania przetwarzania obrazów, takie jak wykrywanie obiektów, śledzenie obiektów i przetwarzanie obrazów lub wideo, użyj struktur, takich jak OpenCV, TensorFlow i NVIDIA cuDNN.
Platformy gier i usługi gier w chmurze używają procesorów GPU do renderowania grafiki o wysokiej rozdzielczości i przesyłania strumieniowego płynnej rozgrywki przez Internet.
Obliczenia o wysokiej wydajności
Aplikacje obliczeń o wysokiej wydajności (HPC) często wymagają złożonych symulacji, analizy liczbowej i obliczeń naukowych. Aby efektywnie uruchamiać te zadania, można użyć GPU do zrównoleglenia obciążenia na wielu rdzeniach. Przykłady aplikacji HPC, które wymagają ogromnej mocy przetwarzania równoległego, to symulacje naukowe, prognozowanie pogody i modelowanie molekularne. Procesory GPU obsługują obliczenia równoległe i przyspieszają obciążenia HPC. Zwiększają one również wydajność w obliczeniach naukowych i badawczych.
Aby przyspieszyć aplikacje HPC, struktury, takie jak NVIDIA CUDA i OpenACC, zapewniają interfejsy API i biblioteki obsługujące GPU.
Analiza genomowa i bioinformatyka
Obciążenia dotyczące zdrowia i nauk życiowych, takie jak analiza genomiczna i aplikacje bioinformatyczne, przetwarzają dane genetyczne, takie jak sekwencje DNA i struktury białek. Polegają na złożonych algorytmach do wyrównywania sekwencji, wywoływania wariantów oraz wydobywania danych genomicznych. Procesory GPU przyspieszają przepływy pracy analizy genomicznej, dzięki czemu naukowcy mogą przetwarzać dane i szybko odkrywać szczegółowe informacje.
Generatywne modele sztucznej inteligencji
Modele językowe, takie jak OpenAI GPT, i modele open-weight, takie jak Falcon i otwarte modele Phi, wykorzystują możliwości przetwarzania równoległego procesora GPU. Użyj procesorów GPU, aby uruchomić te modele i zwiększyć wydajność. Operator zestawu narzędzi SI umożliwia serwowanie modeli o wysokiej wydajności w klastrze usługi AKS i obsługuje szereg popularnych silników serwowania inferencji. Dowiedz się więcej na temat różnych przypadków użycia modelu i pojęć z modelami językowymi w usłudze AKS.
Procesory GPU przyspieszają zadania trenowania i wnioskowania, które obejmują złożone obliczenia i duże ilości danych. Procesory GPU mają możliwości przetwarzania równoległego, które dzielą duże zadania obliczeniowe danego modelu na mniejsze podzadania, które są uruchamiane współbieżnie. Ten proces zmniejsza opóźnienie i zwiększa wydajność.
Modele językowe często mają złożone sieci neuronowe z kilkoma warstwami i parametrami, co może zwiększyć zapotrzebowanie obliczeniowe. Procesory GPU przyspieszają operacje kluczowe w przetwarzaniu języka, takie jak mnożenie macierzy i sploty, co skraca czas wymagany do trenowania i wnioskowania.
Procesory GPU zapewniają wystarczającą pojemność pamięci, przepustowość i moc obliczeniową do obsługi aplikacji opartych na modelu języka, które mają interfejsy konwersacyjne i generują tekst. Na przykład ulepszenia procesora GPU zapewniają odpowiedzi o małych opóźnieniach dla użytkowników korzystających z czatbotów i asystentów sztucznej inteligencji.
Nie wszystkie obciążenia robocze korzystają z węzłów obsługujących GPU. W niektórych przypadkach CPU są wystarczające. Na przykład obciążenia, które są głównie ograniczone przez operacje wejścia i wyjścia lub nie wymagają intensywnego przetwarzania, mogą nie korzystać z GPU. Zachowaj obciążenia korzystające wyłącznie z CPU w pulach węzłów CPU, dzięki czemu zasoby GPU są zarezerwowane dla obciążeń, które żądają zasobów GPU, takich jak nvidia.com/gpu.
Historie klientów
Wielu klientów firmy Microsoft korzysta z obciążeń procesora GPU, aby wprowadzać innowacje dla swoich klientów. Rozważ następujące przykłady:
- Usługa DeepBrain AI integruje się z usługą AKS w celu łatwego skalowania obciążeń sztucznej inteligencji
- Gracze NBA poprawiają wyniki dzięki sztucznej inteligencji w infrastrukturze Azure AI
- Firma zajmująca się sztuczną inteligencją o nazwie Mr. Turing używa sztucznej inteligencji i usługi AKS do umożliwienia przeszukiwania informacji firmowych
Najlepsze rozwiązania dotyczące wdrażania obciążeń procesora GPU
Usługa AKS oferuje różne opcje wdrażania pul węzłów i obciążeń z obsługą GPU na systemach Linux i Windows. Aby uzyskać ogólne wskazówki, zobacz Najlepsze rozwiązania dotyczące procesora GPU w usłudze AKS.
Wdrażanie obciążeń systemu Linux
Utwórz pulę węzłów korzystającą z obsługiwanej maszyny wirtualnej obsługującej procesory GPU NVIDIA lub GPU AMD. W przypadku domyślnych pul węzłów GPU NVIDIA zainstaluj wtyczkę urządzenia NVIDIA Kubernetes i zarządzaj nią. Alternatywnie można zdecydować się na zarządzane przez firmę NVIDIA pule węzłów GPU w usłudze AKS na potrzeby automatycznej instalacji wtyczki urządzenia i eksportera metryk. W przypadku rozmiarów maszyn wirtualnych z procesorami GPU AMD postępuj zgodnie ze wskazówkami dostawcy procesora GPU, aby zainstalować skojarzoną wtyczkę urządzenia Kubernetes. Nie można zaktualizować istniejącej puli węzłów, aby dodać procesory GPU.
Zapoznaj się z ograniczeniami w przypadku korzystania z puli węzłów z obsługą procesora GPU platformy Azure z systemem Linux. Usługa AKS nie stosuje automatycznych poprawek zabezpieczeń, a domyślne zachowanie klastra jest niezarządzane.
Użyj selektorów węzłów platformy Kubernetes, powiązań węzłów i znaczników oraz tolerancji podczas harmonogramowania obciążeń w pulach węzłów z obsługą GPU. Zażądaj zasobów procesora GPU jawnie, aby harmonogram umieszczał obciążenia na zgodnych węzłach.
Wdrażanie zadań systemu Windows
Utwórz pulę węzłów przy użyciu obsługiwanej maszyny wirtualnej z obsługą procesora GPU. To podejście tworzy pulę węzłów systemu Windows z obsługą procesora GPU. Usługa AKS automatycznie instaluje sterowniki i wtyczkę urządzenia Kubernetes. Ta metoda nie umożliwia zaktualizowania istniejącej puli węzłów w celu dodania procesorów GPU.
Po wybraniu obsługiwanej maszyny wirtualnej z obsługą procesora GPU usługa AKS automatycznie instaluje wymagany sterownik NVIDIA CUDA lub GRID. Niektóre obciążenia zależą od określonego sterownika, co może wpłynąć na wdrożenie. W przypadku rozmiarów maszyn wirtualnych serii NC i ND usługa AKS instaluje sterownik CUDA. W przypadku rozmiarów maszyn wirtualnych serii NV, AKS instaluje sterownik GRID.
Zapoznaj się z ograniczeniami w przypadku korzystania z puli węzłów systemu Windows.
Użyj selektorów węzłów platformy Kubernetes, koligacji węzłów i defektów oraz tolerancji podczas planowania obciążeń w pulach węzłów z obsługą procesora GPU.
Uwaga / Notatka
Procesor GPU systemu Windows to funkcja w wersji zapoznawczej. Musisz zarejestrować flagę funkcji WindowsGPUPreview.
Operator procesora graficznego NVIDIA
Operator procesora GPU firmy NVIDIA umożliwia wdrażanie zasobów procesora GPU i zarządzanie nimi w klastrach Kubernetes. Operator automatyzuje instalację, konfigurację i konserwację wymaganych składników oprogramowania. Takie podejście korzysta z oprogramowania typu open source i nie jest zarządzane przez usługę AKS. Takie podejście pomaga zapewnić optymalne wykorzystanie procesorów GPU FIRMY NVIDIA na potrzeby obciążeń intensywnie korzystających z zasobów, takich jak sztuczna inteligencja i uczenie maszynowe.
Operator procesora GPU firmy NVIDIA automatycznie zarządza składnikami oprogramowania NVIDIA, które należy wdrożyć, podobnie jak wtyczka urządzenia NVIDIA dla platformy Kubernetes i środowisko uruchomieniowe kontenera NVIDIA. Operator automatycznie instaluje sterownik. Aby uzyskać więcej informacji, zobacz Omówienie operatora GPU NVIDIA.
Jeśli chcesz mieć zaawansowaną kontrolę i elastyczność obciążeń GPU NVIDIA, użyj NVIDIA GPU Operator z węzłami z obsługą GPU w usłudze AKS. Operator nie obsługuje procesorów GPU systemu Windows. Przed użyciem operatora pomiń automatyczną instalację sterownika procesora GPU i nie łącz zarządzania sterownikami operatora z automatyczną instalacją sterowników usługi AKS.
Rozważ następujące najlepsze rozwiązania:
Użyj operatora procesora GPU firmy NVIDIA, aby wykonać zaawansowane konfiguracje procesora GPU, takie jak wybór wersji sterownika i fragmentowanie czasu procesora GPU.
Pomiń automatyczną instalację sterownika przed użyciem operatora.
Ustaw minimalną liczbę na 1, gdy używasz operatora z funkcją automatycznego skalowania klastra.
Uwaga / Notatka
Microsoft nie obsługuje ani nie zarządza konserwacją i zgodnością sterowników NVIDIA w ramach wdrażania obrazu węzła przy użyciu operatora GPU NVIDIA. Aby uzyskać więcej informacji, zobacz Najlepsze praktyki dotyczące GPU dla usługi AKS.
Operator zestawu narzędzi AI do inferencji opartej na procesorze GPU
Operator łańcucha narzędzi sztucznej inteligencji upraszcza uruchamianie modeli językowych typu open source, takich jak Falcon, w klastrze Kubernetes. Operator łańcucha narzędzi AI można wdrożyć w klastrze usługi AKS jako funkcję zarządzaną dla usługi AKS. Operator łańcucha narzędzi sztucznej inteligencji aprowizuje węzły procesora GPU, tworzy serwer wnioskowania jako punkt końcowy lub przygotowuje zadanie dostrajania i skraca czas dołączania, aby skoncentrować się na operacjach uczenia maszynowego zamiast konfiguracji infrastruktury i konserwacji.
Aby ulepszyć operacje sztucznej inteligencji w usłudze AKS, operator łańcucha narzędzi AI zapewnia następujące możliwości:
Zarządza obrazami kontenerów: Zarządzanie modelami językowymi przy użyciu obrazów kontenerów. Operator łańcucha narzędzi sztucznej inteligencji udostępnia serwer HTTP, dzięki czemu można używać wstępnie ustawionych obszarów roboczych modelu do wnioskowania, wywoływania narzędzi i używania protokołu MCP ( Model Context Protocol ).
Obsługuje własne modele (BYO): Operator łańcucha narzędzi sztucznej inteligencji umożliwia korzystanie z własnych, wewnętrznych, wstępnie wytrenowanych modeli językowych przy użyciu niestandardowego szablonu wdrażania i funkcji HuggingFace Transformers na potrzeby wnioskowania.
Zapewnia wbudowane monitorowanie inferencji: Podczas wdrażania modelu przy użyciu domyślnego aparatu inferencji operator zestawu narzędzi AI udostępnia metryki vLLM w czasie rzeczywistym za pośrednictwem rozwiązań Prometheus i Grafana oraz uwidacznia metryki dotyczące wydajności inferencji i kondycji klastra usługi AKS.
Anyscale on Azure dla rozproszonych obciążeń GPU
Anyscale na Azure zapewnia zarządzane środowisko dla Ray, struktury dla rozproszonych obciążeń Python, w tym trenowanie, dostrajanie hiperparametrów i wnioskowanie wsadowe. Przed zintegrowaniem z istniejącym klastrem usługi AKS potwierdź obsługiwaną architekturę wdrażania.
Zagadnienia dotyczące architektury Ray:
- Planowanie: Platforma Kubernetes umieszcza zasobniki procesów roboczych Ray w węzłach, podczas gdy Ray przypisuje zadania i aktorów do tych procesów roboczych. Dostosuj wymagania aplikacji dotyczące CPU i GPU do żądań zasobów poda, selektorów węzłów i tolerancji.
- Pamięć GPU: deklaracje Ray GPU kontrolują planowanie, a nie limity pamięci GPU lub partycjonowanie urządzeń. Dostosuj wielkość każdego obciążenia do pamięci dostępnej na przypisanych mu węzłach GPU.
- Wykonywanie rozproszone: skonfiguruj strukturę szkoleniową, biblioteki komunikacyjne, takie jak NCCL i magazyn punktów kontrolnych, aby prawidłowo dystrybuować model między wieloma procesorami GPU.
- Skalowanie i odzyskiwanie: koordynowanie skalowania procesów roboczych Ray za pomocą skalowania węzłów usługi AKS, limitów GPU i pojemności regionalnej. Przetestuj odzyskiwanie po awariach procesów roboczych i uaktualnieniach puli węzłów.
Dowiedz się więcej o Anyscale na Azure:
Skalowanie obciążeń i klastrów
W przypadku scenariuszy sztucznej inteligencji i uczenia maszynowego należy rozróżnić obciążenia szkoleniowe i wnioskowanie z wstępnie wytrenowanych modeli. Aby utworzyć i wytrenować model uczenia maszynowego, użyj obliczeń procesora GPU przeznaczonych do uczenia głębokiego i przetwarzania równoległego obliczeń sztucznej inteligencji. Trenowanie często wymaga stopniowego skalowania zasobów procesora GPU i dystrybucji dużych ilości danych między procesorami GPU w celu osiągnięcia wysokiej dokładności dzięki równoległości danych.
Fragmentowanie modeli to popularna technika dzielenia etapów trenowania modelu. Procesory GPU można przypisać do odrębnych zadań i zmaksymalizować ich użycie, włączając wieloinstancyjne GPU (MIG) w pulach węzłów GPU NVIDIA w usłudze AKS. Procesory GPU mogą skalować w górę i skalować obciążenia HPC, takie jak maszyny wirtualne serii NV lub ND na platformie Azure. Ta funkcja pomaga zachować wysokie użycie zasobów i zmniejszyć interwencję użytkownika w przypadku procesów trenowania uczenia maszynowego, które są długie i kosztowne.
Alternatywnie możesz użyć wstępnie wytrenowanych modeli sztucznej inteligencji typu open source i uczenia maszynowego na potrzeby wnioskowania. Zacznij od popularnych modeli, takich jak Llama, Falcon lub Phi, jako bardziej ekonomicznej opcji niż tworzenie i trenowanie w pełni niestandardowego modelu językowego. Aby uzyskać więcej informacji, zobacz Modele językowe w usłudze AKS.
W przypadku używania wstępnie wytrenowanych modeli do wnioskowania użycie zasobów może ulegać wahaniom na podstawie ilości przetwarzanych danych. Po uruchomieniu danych na żywo za pośrednictwem wybranego modelu ruch może być gwałtowny w zależności od rozmiaru i wymagań modelu. Zachowaj małe opóźnienia w procesie wnioskowania. Aby efektywnie korzystać z procesorów GPU w celu zapewnienia wysokiej wydajności i małych opóźnień, należy przeprowadzić wnioskowanie rozproszone przy użyciu modeli, które obsługuje operator łańcucha narzędzi sztucznej inteligencji. Takie podejście rozszerza opcje obliczeniowe, aby uwzględnić niższe jednostki SKU z liczbą procesorów GPU, które mają jedną lub dwie jednostki GPU, zapewniają wysoką dostępność w regionach świadczenia usługi Azure i zmniejszają koszty konserwacji.
Użyj selektorów węzłów, afinity węzłów, skażeń, tolerancji i jawnych żądań zasobów GPU, aby zadania trenowania i repliki inferencji były zaplanowane na zgodnych węzłach GPU.
Monitorowanie kondycji procesora GPU
Problemy z GPU mogą być trudne do wykrycia i często powodują ciche błędy lub obniżają wydajność zamiast przestać działać. Te problemy zwiększają czas rozwiązywania problemów, niepotrzebnie zużywają zasoby i zwiększają koszty operacyjne.
Monitorowanie kondycji GPU w usłudze AKS zapewnia spójne i częste kontrole zdarzeń i warunków węzła. Narzędzie do wykrywania problemów z węzłem (NPD) zgłasza warunki specyficzne dla GPU w pulach węzłów, które używają sterowników GPU zarządzanych przez usługę AKS. Te kontrole GPU nie mają zastosowania do pul węzłów utworzonych przy użyciu polecenia --gpu-driver none, w tym ścieżki wdrażania operatora GPU firmy NVIDIA opisanej w tym artykule. Ogólne monitorowanie NPD może nadal działać na tych węzłach. W obsługiwanych pulach węzłów serwer NPD przedstawia kluczowe sygnały, takie jak niepoprawne liczby procesorów GPU i błędy związane z łącznością, bezpośrednio w stanach węzłów Kubernetes, co pomaga zespołom identyfikować problemy i reagować na nie. Takie podejście obsługuje automatyczne powiadomienia, kordonowanie węzłów i ponowne planowanie obciążeń. Pomaga również zachować niezawodność i wydajność aplikacji w środowiskach intensywnie korzystających z obliczeń.
Zarządzanie kosztami obciążeń procesora GPU
Procesory GPU mogą zwiększyć koszty. Monitoruj obciążenia, aby zrozumieć, co wpływa na koszty związane z GPU i identyfikować możliwości optymalizacji. Aby zwiększyć widoczność kosztów, użyj narzędzia do analizy kosztów usługi AKS.
Poniższe scenariusze korzystają z widoczności kosztów.
Koszt rozmiaru maszyny wirtualnej z obsługą procesora GPU
Wybierz odpowiedni rozmiar maszyny wirtualnej z obsługą procesora GPU, aby zoptymalizować koszt uruchamiania procesorów GPU. Koszty dzienne mogą się różnić w zależności od wybranego rozmiaru maszyny wirtualnej. Procesory GPU A100 są kosztowne, dlatego unikaj ich, chyba że obciążenie ich wymaga. Analiza kosztów usługi AKS przedstawia dzienny koszt każdej maszyny wirtualnej i pokazuje skojarzone koszty każdego obciążenia uruchomionego na maszynie wirtualnej z obsługą procesora GPU. Użyj tych danych, aby ocenić, czy masz odpowiedni rozmiar maszyny wirtualnej, czy też potrzebujesz bardziej ekonomicznej opcji.
Koszt bezczynności
Po utworzeniu puli węzłów z obsługą procesora GPU koszty są naliczane na zasobie platformy Azure, nawet jeśli nie uruchamiasz obciążenia procesora GPU. Koszty bezczynności reprezentują koszt dostępnej pojemności zasobów, których obciążenia nie używają. Te koszty mogą się szybko sumować, jeśli masz kilka nieużywanych węzłów. Aby uniknąć wysokich kosztów bezczynności, twórz pule węzłów tylko wtedy, gdy uruchamiasz obciążenie, i stosuj takie metody, jak funkcja zatrzymywania klastra, kiedy nie uruchamiasz obciążenia. Analiza kosztów usługi AKS pokazuje koszty związane z bezczynnością dla każdego z węzłów.
Nadmiarowe przydzielanie zasobów i niewykorzystanie zasobów
Nadmierna aprowizacja polega na przydzielaniu większej ilości zasobów, niż jest to konieczne dla zasobnika. Nadmierna aprowizacja prowadzi do marnowania zasobów i niedostatecznego wykorzystania. Węzeł nadal rezerwuje nadmiarowe zasoby, nawet jeśli obciążenia ich nie wykorzystują. Aby zmniejszyć nadmierne aprowizowanie, użyj pionowego autoskaleru zasobników, aby ustawić dokładne żądania i limity w oparciu o poprzednie wzorce użycia.
Niewykorzystanie może wystąpić, gdy obciążenia nie używają w pełni GPU. Rozważ zaawansowane techniki udostępniania i partycjonowania procesorów GPU. Zamiast wdrażać wiele węzłów, można użyć jednego węzła z partycjami, aby zmaksymalizować użycie procesora GPU. Te techniki pomagają przydzielić odpowiednią ilość przyspieszania procesora GPU dla każdego obciążenia, co może zwiększyć użycie i obniżyć koszty operacyjne wdrożenia.
Wdrożenia obciążeń procesora GPU systemu Linux w usłudze AKS obsługują procesory GPU z wieloma wystąpieniami. Ta funkcja umożliwia partycjonowanie procesorów GPU NVIDIA A100, H100 i H200 na niezależne instancje. Każde wystąpienie ma własną pamięć i multiprocesor strumieniowy.
Firma NVIDIA obsługuje inne techniki partycjonowania, takie jak fragmentowanie czasu i usługa wieloprocesowa (MPS). Aby ręcznie zastosować te konfiguracje, użyj operatora procesora GPU FIRMY NVIDIA. Te techniki to opcje NVIDIA GPU Operator, a nie natywne możliwości partycjonowania usługi AKS.
W przypadku zaawansowanych scenariuszy można ulepszyć pakowanie pojemników zasobów w węzłach usługi AKS i zoptymalizować wykorzystanie zasobów procesora GPU w klastrze. Można użyć konfigurowalnych profilów harmonogramu (wersja zapoznawcza) z wbudowanymi (lub w drzewie) wtyczkami planowania platformy Kubernetes, aby wprowadzić strategie umieszczania obciążeń, które różnią się od domyślnego harmonogramu usługi AKS. Aby uzyskać więcej informacji, zobacz Podstawy konfiguracji harmonogramu na potrzeby rozmieszczania obciążeń w AKS.
Współautorzy
Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.
Główny autor:
- Ayobami Ayodeji | Starszy menedżer programu
Inni współautorzy:
- Sachi Desai | Menedżer produktu 2
- Ally Ford | Menedżer produktu 2
- Erin Schaffer | Specjalista ds. tworzenia treści 2
Aby wyświetlić niepubliczne profile LinkedIn, zaloguj się do LinkedIn.
Dalsze kroki
- Architektura bazowa klastra AKS
- Skalowanie automatyczne obciążeń procesora GPU za pomocą skalowania automatycznego opartego na zdarzeniach platformy Kubernetes (KEDA)
- Optymalizowanie obciążeń procesora GPU na Azure Kubernetes Service (AKS) przy użyciu profilowania procesora GPU (wersja zapoznawcza)
- Najlepsze praktyki dotyczące GPU w usłudze AKS
- Używaj maszyn wirtualnych z obsługą GPU w pulach węzłów Windows
- Omówienie operatora zestawu narzędzi AI