Hostowanie obciążeń opartych na procesorach GPU przy użyciu usługi Azure Kubernetes Service

W tym artykule opisano sposób wydajnego uruchamiania obciążeń korzystających z węzłów procesora graficznego (GPU) w klastrze usługi Azure Kubernetes Service (AKS). Dowiedz się, jak wybrać odpowiednią jednostkę SKU, użyć węzłów procesora GPU do trenowania modeli uczenia maszynowego i użyć węzłów procesora GPU do uruchamiania wnioskowania w usłudze AKS.

Scenariusze

Obciążenia procesora GPU mogą być kosztowne do uruchomienia. Aby uniknąć niepotrzebnych kosztów, dowiedz się, kiedy wdrożyć węzły oparte na procesorze GPU w klastrach usługi AKS.

Procesory GPU są specjalnie zaprojektowane na potrzeby grafiki, sztucznej inteligencji i uczenia maszynowego oraz wyspecjalizowanych zadań, co czyni je idealnym rozwiązaniem w przypadku obciążeń intensywnie korzystających z obliczeń. Centralne jednostki przetwarzania skutecznie zarządzają złożoną logiką i rozgałęzianiami. Procesory GPU są zoptymalizowane pod kątem przepływności i wydajnie obsługują podstawowe operacje arytmetyczne i wektorowe.

Aby określić, kiedy należy używać procesorów GPU dla obciążeń usługi AKS, należy zrozumieć optymalizację procesora GPU, intensywność obliczeń i inne czynniki wpływające na wydajność. Aby uzyskać lepszy wgląd w użycie procesora GPU dla obciążeń usługi AKS, rozważ następujące przykłady obciążeń, które korzystają z węzłów procesora GPU w klastrze usługi AKS.

Nauka o danych i analiza

Użyj procesorów GPU, aby przyspieszyć wstępne przetwarzanie danych, inżynierię cech i trenowanie modeli w przepływach pracy nauki o danych. Aby wydajnie korzystać z procesorów GPU, struktury takie jak Apache Spark, RAPIDS i obsługa procesora GPU w języku Dask rozszerzają popularne biblioteki przetwarzania danych, takie jak pandas i scikit-learn.

Oprogramowanie typu open source (OSS) oraz przyspieszane silniki zapytań SQL i kolumnowe bazy danych, takie jak HeavyDB, używają jednostek GPU do wykonywania zapytań i analiz na dużych zestawach danych.

Uczenie maszynowe i uczenie głębokie

Popularne platformy uczenia maszynowego i uczenia głębokiego, takie jak TensorFlow, PyTorch, Ray, vLLM i Triton Inference Server , korzystają z procesorów GPU, ponieważ przyspieszają zadania trenowania modeli i wnioskowania. Na przykład usługa Azure Machine Learning obsługuje model o wysokiej wydajności obsługujący zarządzany punkt końcowy online przy użyciu serwera Triton Inference Server. Wybierz rozmiar maszyny wirtualnej z obsługą procesora GPU na podstawie rozmiaru modelu, wymagań dotyczących pamięci, przepływności i obsługiwanych regionów. Aby uzyskać więcej informacji, zobacz Pule węzłów z obsługą procesora GPU w usłudze AKS.

Modele uczenia głębokiego używają złożonych sieci neuronowych. Przetwarzanie równoległe na procesorach GPU przyspiesza obliczenia. Procesory GPU zapewniają wysoce wydajne mnożenie macierzy i operacje splotu, które są podstawowymi operacjami w uczeniu głębokim.

Za pomocą procesorów GPU można również przyspieszyć zadania, takie jak klasyfikacja obrazów, wykrywanie obiektów, przetwarzanie języka naturalnego i rozpoznawanie mowy.

Wizja komputerowa i przetwarzanie obrazów

Zadania przetwarzania obrazów interpretują dane wizualne w celu wyodrębnienia znaczących informacji. Te zadania pojawiają się w aplikacjach opartych na sztucznej inteligencji, takich jak pojazdy autonomiczne, obrazowanie medyczne, systemy nadzoru i rzeczywistość rozszerzona. Procesory GPU używają przetwarzania równoległego do wydajnego obsługi danych obrazów na dużą skalę i złożonych obliczeń na potrzeby zadań takich jak wykrywanie obiektów, klasyfikacja obrazów i wyodrębnianie funkcji.

Przetwarzanie wideo i przesyłanie strumieniowe

Obciążenia, które transkodują, kodują i przesyłają strumieniowo wideo, intensywnie korzystają z zasobów obliczeniowych, zwłaszcza jeśli mają zawartość o wysokiej rozdzielczości. Procesory GPU zapewniają wydajną platformę do przetwarzania wideo o małych opóźnieniach i wysokiej przepływności w aplikacjach, takich jak strumienie wydarzeń sportowych i wideo firmowe.

Węzły użytkownika z obsługą procesora GPU mogą przekazywać zadania intensywnie korzystające z grafiki do procesora GPU w środowiskach pulpitu wirtualnego. Funkcje kodowania i dekodowania wideo, które korzystają z procesorów GPU, obsługują przesyłanie strumieniowe wideo w czasie rzeczywistym, transkodowanie i analizę.

Aby przyspieszyć zadania przetwarzania obrazów, takie jak wykrywanie obiektów, śledzenie obiektów i przetwarzanie obrazów lub wideo, użyj struktur, takich jak OpenCV, TensorFlow i NVIDIA cuDNN.

Platformy gier i usługi gier w chmurze używają procesorów GPU do renderowania grafiki o wysokiej rozdzielczości i przesyłania strumieniowego płynnej rozgrywki przez Internet.

Obliczenia o wysokiej wydajności

Aplikacje obliczeń o wysokiej wydajności (HPC) często wymagają złożonych symulacji, analizy liczbowej i obliczeń naukowych. Aby efektywnie uruchamiać te zadania, można użyć GPU do zrównoleglenia obciążenia na wielu rdzeniach. Przykłady aplikacji HPC, które wymagają ogromnej mocy przetwarzania równoległego, to symulacje naukowe, prognozowanie pogody i modelowanie molekularne. Procesory GPU obsługują obliczenia równoległe i przyspieszają obciążenia HPC. Zwiększają one również wydajność w obliczeniach naukowych i badawczych.

Aby przyspieszyć aplikacje HPC, struktury, takie jak NVIDIA CUDA i OpenACC, zapewniają interfejsy API i biblioteki obsługujące GPU.

Analiza genomowa i bioinformatyka

Obciążenia dotyczące zdrowia i nauk życiowych, takie jak analiza genomiczna i aplikacje bioinformatyczne, przetwarzają dane genetyczne, takie jak sekwencje DNA i struktury białek. Polegają na złożonych algorytmach do wyrównywania sekwencji, wywoływania wariantów oraz wydobywania danych genomicznych. Procesory GPU przyspieszają przepływy pracy analizy genomicznej, dzięki czemu naukowcy mogą przetwarzać dane i szybko odkrywać szczegółowe informacje.

Generatywne modele sztucznej inteligencji

Modele językowe, takie jak OpenAI GPT, i modele open-weight, takie jak Falcon i otwarte modele Phi, wykorzystują możliwości przetwarzania równoległego procesora GPU. Użyj procesorów GPU, aby uruchomić te modele i zwiększyć wydajność. Operator zestawu narzędzi SI umożliwia serwowanie modeli o wysokiej wydajności w klastrze usługi AKS i obsługuje szereg popularnych silników serwowania inferencji. Dowiedz się więcej na temat różnych przypadków użycia modelu i pojęć z modelami językowymi w usłudze AKS.

Procesory GPU przyspieszają zadania trenowania i wnioskowania, które obejmują złożone obliczenia i duże ilości danych. Procesory GPU mają możliwości przetwarzania równoległego, które dzielą duże zadania obliczeniowe danego modelu na mniejsze podzadania, które są uruchamiane współbieżnie. Ten proces zmniejsza opóźnienie i zwiększa wydajność.

Modele językowe często mają złożone sieci neuronowe z kilkoma warstwami i parametrami, co może zwiększyć zapotrzebowanie obliczeniowe. Procesory GPU przyspieszają operacje kluczowe w przetwarzaniu języka, takie jak mnożenie macierzy i sploty, co skraca czas wymagany do trenowania i wnioskowania.

Procesory GPU zapewniają wystarczającą pojemność pamięci, przepustowość i moc obliczeniową do obsługi aplikacji opartych na modelu języka, które mają interfejsy konwersacyjne i generują tekst. Na przykład ulepszenia procesora GPU zapewniają odpowiedzi o małych opóźnieniach dla użytkowników korzystających z czatbotów i asystentów sztucznej inteligencji.

Nie wszystkie obciążenia robocze korzystają z węzłów obsługujących GPU. W niektórych przypadkach CPU są wystarczające. Na przykład obciążenia, które są głównie ograniczone przez operacje wejścia i wyjścia lub nie wymagają intensywnego przetwarzania, mogą nie korzystać z GPU. Zachowaj obciążenia korzystające wyłącznie z CPU w pulach węzłów CPU, dzięki czemu zasoby GPU są zarezerwowane dla obciążeń, które żądają zasobów GPU, takich jak nvidia.com/gpu.

Historie klientów

Wielu klientów firmy Microsoft korzysta z obciążeń procesora GPU, aby wprowadzać innowacje dla swoich klientów. Rozważ następujące przykłady:

Najlepsze rozwiązania dotyczące wdrażania obciążeń procesora GPU

Usługa AKS oferuje różne opcje wdrażania pul węzłów i obciążeń z obsługą GPU na systemach Linux i Windows. Aby uzyskać ogólne wskazówki, zobacz Najlepsze rozwiązania dotyczące procesora GPU w usłudze AKS.

Wdrażanie obciążeń systemu Linux

  • Utwórz pulę węzłów korzystającą z obsługiwanej maszyny wirtualnej obsługującej procesory GPU NVIDIA lub GPU AMD. W przypadku domyślnych pul węzłów GPU NVIDIA zainstaluj wtyczkę urządzenia NVIDIA Kubernetes i zarządzaj nią. Alternatywnie można zdecydować się na zarządzane przez firmę NVIDIA pule węzłów GPU w usłudze AKS na potrzeby automatycznej instalacji wtyczki urządzenia i eksportera metryk. W przypadku rozmiarów maszyn wirtualnych z procesorami GPU AMD postępuj zgodnie ze wskazówkami dostawcy procesora GPU, aby zainstalować skojarzoną wtyczkę urządzenia Kubernetes. Nie można zaktualizować istniejącej puli węzłów, aby dodać procesory GPU.

  • Zapoznaj się z ograniczeniami w przypadku korzystania z puli węzłów z obsługą procesora GPU platformy Azure z systemem Linux. Usługa AKS nie stosuje automatycznych poprawek zabezpieczeń, a domyślne zachowanie klastra jest niezarządzane.

  • Użyj selektorów węzłów platformy Kubernetes, powiązań węzłów i znaczników oraz tolerancji podczas harmonogramowania obciążeń w pulach węzłów z obsługą GPU. Zażądaj zasobów procesora GPU jawnie, aby harmonogram umieszczał obciążenia na zgodnych węzłach.

Wdrażanie zadań systemu Windows

  • Utwórz pulę węzłów przy użyciu obsługiwanej maszyny wirtualnej z obsługą procesora GPU. To podejście tworzy pulę węzłów systemu Windows z obsługą procesora GPU. Usługa AKS automatycznie instaluje sterowniki i wtyczkę urządzenia Kubernetes. Ta metoda nie umożliwia zaktualizowania istniejącej puli węzłów w celu dodania procesorów GPU.

    Po wybraniu obsługiwanej maszyny wirtualnej z obsługą procesora GPU usługa AKS automatycznie instaluje wymagany sterownik NVIDIA CUDA lub GRID. Niektóre obciążenia zależą od określonego sterownika, co może wpłynąć na wdrożenie. W przypadku rozmiarów maszyn wirtualnych serii NC i ND usługa AKS instaluje sterownik CUDA. W przypadku rozmiarów maszyn wirtualnych serii NV, AKS instaluje sterownik GRID.

  • Zapoznaj się z ograniczeniami w przypadku korzystania z puli węzłów systemu Windows.

  • Użyj selektorów węzłów platformy Kubernetes, koligacji węzłów i defektów oraz tolerancji podczas planowania obciążeń w pulach węzłów z obsługą procesora GPU.

Uwaga / Notatka

Procesor GPU systemu Windows to funkcja w wersji zapoznawczej. Musisz zarejestrować flagę funkcji WindowsGPUPreview.

Operator procesora graficznego NVIDIA

Operator procesora GPU firmy NVIDIA umożliwia wdrażanie zasobów procesora GPU i zarządzanie nimi w klastrach Kubernetes. Operator automatyzuje instalację, konfigurację i konserwację wymaganych składników oprogramowania. Takie podejście korzysta z oprogramowania typu open source i nie jest zarządzane przez usługę AKS. Takie podejście pomaga zapewnić optymalne wykorzystanie procesorów GPU FIRMY NVIDIA na potrzeby obciążeń intensywnie korzystających z zasobów, takich jak sztuczna inteligencja i uczenie maszynowe.

Operator procesora GPU firmy NVIDIA automatycznie zarządza składnikami oprogramowania NVIDIA, które należy wdrożyć, podobnie jak wtyczka urządzenia NVIDIA dla platformy Kubernetes i środowisko uruchomieniowe kontenera NVIDIA. Operator automatycznie instaluje sterownik. Aby uzyskać więcej informacji, zobacz Omówienie operatora GPU NVIDIA.

Jeśli chcesz mieć zaawansowaną kontrolę i elastyczność obciążeń GPU NVIDIA, użyj NVIDIA GPU Operator z węzłami z obsługą GPU w usłudze AKS. Operator nie obsługuje procesorów GPU systemu Windows. Przed użyciem operatora pomiń automatyczną instalację sterownika procesora GPU i nie łącz zarządzania sterownikami operatora z automatyczną instalacją sterowników usługi AKS.

Rozważ następujące najlepsze rozwiązania:

  • Użyj operatora procesora GPU firmy NVIDIA, aby wykonać zaawansowane konfiguracje procesora GPU, takie jak wybór wersji sterownika i fragmentowanie czasu procesora GPU.

  • Pomiń automatyczną instalację sterownika przed użyciem operatora.

  • Ustaw minimalną liczbę na 1, gdy używasz operatora z funkcją automatycznego skalowania klastra.

Uwaga / Notatka

Microsoft nie obsługuje ani nie zarządza konserwacją i zgodnością sterowników NVIDIA w ramach wdrażania obrazu węzła przy użyciu operatora GPU NVIDIA. Aby uzyskać więcej informacji, zobacz Najlepsze praktyki dotyczące GPU dla usługi AKS.

Operator zestawu narzędzi AI do inferencji opartej na procesorze GPU

Operator łańcucha narzędzi sztucznej inteligencji upraszcza uruchamianie modeli językowych typu open source, takich jak Falcon, w klastrze Kubernetes. Operator łańcucha narzędzi AI można wdrożyć w klastrze usługi AKS jako funkcję zarządzaną dla usługi AKS. Operator łańcucha narzędzi sztucznej inteligencji aprowizuje węzły procesora GPU, tworzy serwer wnioskowania jako punkt końcowy lub przygotowuje zadanie dostrajania i skraca czas dołączania, aby skoncentrować się na operacjach uczenia maszynowego zamiast konfiguracji infrastruktury i konserwacji.

Aby ulepszyć operacje sztucznej inteligencji w usłudze AKS, operator łańcucha narzędzi AI zapewnia następujące możliwości:

Anyscale on Azure dla rozproszonych obciążeń GPU

Anyscale na Azure zapewnia zarządzane środowisko dla Ray, struktury dla rozproszonych obciążeń Python, w tym trenowanie, dostrajanie hiperparametrów i wnioskowanie wsadowe. Przed zintegrowaniem z istniejącym klastrem usługi AKS potwierdź obsługiwaną architekturę wdrażania.

Zagadnienia dotyczące architektury Ray:

  • Planowanie: Platforma Kubernetes umieszcza zasobniki procesów roboczych Ray w węzłach, podczas gdy Ray przypisuje zadania i aktorów do tych procesów roboczych. Dostosuj wymagania aplikacji dotyczące CPU i GPU do żądań zasobów poda, selektorów węzłów i tolerancji.
  • Pamięć GPU: deklaracje Ray GPU kontrolują planowanie, a nie limity pamięci GPU lub partycjonowanie urządzeń. Dostosuj wielkość każdego obciążenia do pamięci dostępnej na przypisanych mu węzłach GPU.
  • Wykonywanie rozproszone: skonfiguruj strukturę szkoleniową, biblioteki komunikacyjne, takie jak NCCL i magazyn punktów kontrolnych, aby prawidłowo dystrybuować model między wieloma procesorami GPU.
  • Skalowanie i odzyskiwanie: koordynowanie skalowania procesów roboczych Ray za pomocą skalowania węzłów usługi AKS, limitów GPU i pojemności regionalnej. Przetestuj odzyskiwanie po awariach procesów roboczych i uaktualnieniach puli węzłów.

Dowiedz się więcej o Anyscale na Azure:

Skalowanie obciążeń i klastrów

W przypadku scenariuszy sztucznej inteligencji i uczenia maszynowego należy rozróżnić obciążenia szkoleniowe i wnioskowanie z wstępnie wytrenowanych modeli. Aby utworzyć i wytrenować model uczenia maszynowego, użyj obliczeń procesora GPU przeznaczonych do uczenia głębokiego i przetwarzania równoległego obliczeń sztucznej inteligencji. Trenowanie często wymaga stopniowego skalowania zasobów procesora GPU i dystrybucji dużych ilości danych między procesorami GPU w celu osiągnięcia wysokiej dokładności dzięki równoległości danych.

Fragmentowanie modeli to popularna technika dzielenia etapów trenowania modelu. Procesory GPU można przypisać do odrębnych zadań i zmaksymalizować ich użycie, włączając wieloinstancyjne GPU (MIG) w pulach węzłów GPU NVIDIA w usłudze AKS. Procesory GPU mogą skalować w górę i skalować obciążenia HPC, takie jak maszyny wirtualne serii NV lub ND na platformie Azure. Ta funkcja pomaga zachować wysokie użycie zasobów i zmniejszyć interwencję użytkownika w przypadku procesów trenowania uczenia maszynowego, które są długie i kosztowne.

Alternatywnie możesz użyć wstępnie wytrenowanych modeli sztucznej inteligencji typu open source i uczenia maszynowego na potrzeby wnioskowania. Zacznij od popularnych modeli, takich jak Llama, Falcon lub Phi, jako bardziej ekonomicznej opcji niż tworzenie i trenowanie w pełni niestandardowego modelu językowego. Aby uzyskać więcej informacji, zobacz Modele językowe w usłudze AKS.

W przypadku używania wstępnie wytrenowanych modeli do wnioskowania użycie zasobów może ulegać wahaniom na podstawie ilości przetwarzanych danych. Po uruchomieniu danych na żywo za pośrednictwem wybranego modelu ruch może być gwałtowny w zależności od rozmiaru i wymagań modelu. Zachowaj małe opóźnienia w procesie wnioskowania. Aby efektywnie korzystać z procesorów GPU w celu zapewnienia wysokiej wydajności i małych opóźnień, należy przeprowadzić wnioskowanie rozproszone przy użyciu modeli, które obsługuje operator łańcucha narzędzi sztucznej inteligencji. Takie podejście rozszerza opcje obliczeniowe, aby uwzględnić niższe jednostki SKU z liczbą procesorów GPU, które mają jedną lub dwie jednostki GPU, zapewniają wysoką dostępność w regionach świadczenia usługi Azure i zmniejszają koszty konserwacji.

Użyj selektorów węzłów, afinity węzłów, skażeń, tolerancji i jawnych żądań zasobów GPU, aby zadania trenowania i repliki inferencji były zaplanowane na zgodnych węzłach GPU.

Monitorowanie kondycji procesora GPU

Problemy z GPU mogą być trudne do wykrycia i często powodują ciche błędy lub obniżają wydajność zamiast przestać działać. Te problemy zwiększają czas rozwiązywania problemów, niepotrzebnie zużywają zasoby i zwiększają koszty operacyjne.

Monitorowanie kondycji GPU w usłudze AKS zapewnia spójne i częste kontrole zdarzeń i warunków węzła. Narzędzie do wykrywania problemów z węzłem (NPD) zgłasza warunki specyficzne dla GPU w pulach węzłów, które używają sterowników GPU zarządzanych przez usługę AKS. Te kontrole GPU nie mają zastosowania do pul węzłów utworzonych przy użyciu polecenia --gpu-driver none, w tym ścieżki wdrażania operatora GPU firmy NVIDIA opisanej w tym artykule. Ogólne monitorowanie NPD może nadal działać na tych węzłach. W obsługiwanych pulach węzłów serwer NPD przedstawia kluczowe sygnały, takie jak niepoprawne liczby procesorów GPU i błędy związane z łącznością, bezpośrednio w stanach węzłów Kubernetes, co pomaga zespołom identyfikować problemy i reagować na nie. Takie podejście obsługuje automatyczne powiadomienia, kordonowanie węzłów i ponowne planowanie obciążeń. Pomaga również zachować niezawodność i wydajność aplikacji w środowiskach intensywnie korzystających z obliczeń.

Zarządzanie kosztami obciążeń procesora GPU

Procesory GPU mogą zwiększyć koszty. Monitoruj obciążenia, aby zrozumieć, co wpływa na koszty związane z GPU i identyfikować możliwości optymalizacji. Aby zwiększyć widoczność kosztów, użyj narzędzia do analizy kosztów usługi AKS.

Poniższe scenariusze korzystają z widoczności kosztów.

Koszt rozmiaru maszyny wirtualnej z obsługą procesora GPU

Wybierz odpowiedni rozmiar maszyny wirtualnej z obsługą procesora GPU, aby zoptymalizować koszt uruchamiania procesorów GPU. Koszty dzienne mogą się różnić w zależności od wybranego rozmiaru maszyny wirtualnej. Procesory GPU A100 są kosztowne, dlatego unikaj ich, chyba że obciążenie ich wymaga. Analiza kosztów usługi AKS przedstawia dzienny koszt każdej maszyny wirtualnej i pokazuje skojarzone koszty każdego obciążenia uruchomionego na maszynie wirtualnej z obsługą procesora GPU. Użyj tych danych, aby ocenić, czy masz odpowiedni rozmiar maszyny wirtualnej, czy też potrzebujesz bardziej ekonomicznej opcji.

Koszt bezczynności

Po utworzeniu puli węzłów z obsługą procesora GPU koszty są naliczane na zasobie platformy Azure, nawet jeśli nie uruchamiasz obciążenia procesora GPU. Koszty bezczynności reprezentują koszt dostępnej pojemności zasobów, których obciążenia nie używają. Te koszty mogą się szybko sumować, jeśli masz kilka nieużywanych węzłów. Aby uniknąć wysokich kosztów bezczynności, twórz pule węzłów tylko wtedy, gdy uruchamiasz obciążenie, i stosuj takie metody, jak funkcja zatrzymywania klastra, kiedy nie uruchamiasz obciążenia. Analiza kosztów usługi AKS pokazuje koszty związane z bezczynnością dla każdego z węzłów.

Nadmiarowe przydzielanie zasobów i niewykorzystanie zasobów

Nadmierna aprowizacja polega na przydzielaniu większej ilości zasobów, niż jest to konieczne dla zasobnika. Nadmierna aprowizacja prowadzi do marnowania zasobów i niedostatecznego wykorzystania. Węzeł nadal rezerwuje nadmiarowe zasoby, nawet jeśli obciążenia ich nie wykorzystują. Aby zmniejszyć nadmierne aprowizowanie, użyj pionowego autoskaleru zasobników, aby ustawić dokładne żądania i limity w oparciu o poprzednie wzorce użycia.

Niewykorzystanie może wystąpić, gdy obciążenia nie używają w pełni GPU. Rozważ zaawansowane techniki udostępniania i partycjonowania procesorów GPU. Zamiast wdrażać wiele węzłów, można użyć jednego węzła z partycjami, aby zmaksymalizować użycie procesora GPU. Te techniki pomagają przydzielić odpowiednią ilość przyspieszania procesora GPU dla każdego obciążenia, co może zwiększyć użycie i obniżyć koszty operacyjne wdrożenia.

Wdrożenia obciążeń procesora GPU systemu Linux w usłudze AKS obsługują procesory GPU z wieloma wystąpieniami. Ta funkcja umożliwia partycjonowanie procesorów GPU NVIDIA A100, H100 i H200 na niezależne instancje. Każde wystąpienie ma własną pamięć i multiprocesor strumieniowy.

Firma NVIDIA obsługuje inne techniki partycjonowania, takie jak fragmentowanie czasu i usługa wieloprocesowa (MPS). Aby ręcznie zastosować te konfiguracje, użyj operatora procesora GPU FIRMY NVIDIA. Te techniki to opcje NVIDIA GPU Operator, a nie natywne możliwości partycjonowania usługi AKS.

W przypadku zaawansowanych scenariuszy można ulepszyć pakowanie pojemników zasobów w węzłach usługi AKS i zoptymalizować wykorzystanie zasobów procesora GPU w klastrze. Można użyć konfigurowalnych profilów harmonogramu (wersja zapoznawcza) z wbudowanymi (lub w drzewie) wtyczkami planowania platformy Kubernetes, aby wprowadzić strategie umieszczania obciążeń, które różnią się od domyślnego harmonogramu usługi AKS. Aby uzyskać więcej informacji, zobacz Podstawy konfiguracji harmonogramu na potrzeby rozmieszczania obciążeń w AKS.

Współautorzy

Firma Microsoft utrzymuje ten artykuł. Następujący współautorzy napisali ten artykuł.

Główny autor:

Inni współautorzy:

Aby wyświetlić niepubliczne profile LinkedIn, zaloguj się do LinkedIn.

Dalsze kroki