Trenowanie rozproszone na wielu GPU

Ważna

Dekorator @distributed użyty w przykładach zeszytów jest w publicznej wersji zapoznawczej.

Te przykłady skalują trening modeli na wielu GPU i węzłach w środowisku uruchomieniowym AI. Przykłady notatników korzystają z interfejsu API języka Python serverless_gpu na dołączonych zasobach obliczeniowych GPU. Przykłady CLI Databricks dostarczają konfiguracje obciążeń oraz kod źródłowy do trenowania jednowęzłowego i wielowęzłowego.

Uwaga / Notatka

Na GPU H100 obsługiwane jest rozproszone trenowanie wieloGPU oparte na notebookach.

Wybierz technikę równoległości

Wybierz technikę równoległości w zależności od rozmiaru modelu, dostępnej pamięci GPU i wymagań dotyczących wydajności. Poniższa tabela porównuje opcje.

Technika Kiedy stosować
DDP (rozproszone dane równoległe) Pełny model pasuje do pojedynczej pamięci procesora GPU; konieczne jest skalowanie przepływności danych
FSDP (Równoległe Przetwarzanie Danych z Pełnym Podziałem na Fragmenty) Bardzo duże modele, które nie mieszczą się w pojedynczej pamięci procesora GPU
DeepSpeed ZeRO Duże modele z zaawansowanymi potrzebami optymalizacji pamięci

Aby uzyskać szczegółowe informacje na temat każdej techniki, zobacz DDP, FSDP i DeepSpeed.

Aby uzyskać porady i wzorce, dzięki którym proces trenowania będzie wydajniejszy i bardziej odporny, zobacz przewodnik dotyczący wydajności i odporności.

Przykłady notatników według techniki i frameworku

Poniższa tabela porządkuje przykłady notebooków według frameworku lub biblioteki oraz zastosowanej techniki równoległości. W jednej komórce może pojawić się wiele notesów.

Struktura/biblioteka Przykłady protokołu DDP Przykłady FSDP Przykłady deepSpeed
PyTorch (natywny) Prosta sieć neuronowa MLP
Wykrywanie obrazów RetinaNet		 Transformator parametru 10M —
Huggingface TRL Dostrojenie Gpt OSS 20B Dostrojenie Gpt OSS 120B Dostrojenie Llama 3.2 1B
Unsloth Dostrojenie Llama 3.2 3B — —
Axolotl Dostrojenie Olmo3 7B — —
Lightning System rekomendatora z dwoma wieżami — —

Przykłady CLI

Poniższe przykłady zawierają linki do gotowych do uruchomienia przepisów w AI Runtime Cookbook.

Example Technique Opis
Dostrajanie ResNet-50 z Ray Train DDP Dostrój ResNet-50 z jednym workerem Ray Train na każdą kartę A10 na dwóch węzłach.
Precyzyjne dostrajanie Qwen2.5-3B z Ray Train DDP Dopracuj Qwen2.5-3B z jednym workerem Ray Train na każdym GPU na 8x węźle H100.
Wielowęzłowe dostrajanie Llama 3.1 8B FSDP Dostrój Llama 3.1 8B za pomocą FSDP PyTorch na dwóch 8x węzłach H100.
Wielowęzłowe precyzyjne dostrojenie Qwen3.8-27B FSDP2 Dopracuj Qwen3.8-27B za pomocą PyTorch FSDP2 na czterech 8x węzłach H100.
Qwen3-8B precyzyjne dostrajanie do ekstrakcji faktur DeepSpeed ZeRO-3 Dopracuj Qwen3-8B do ekstrakcji encji z faktur i paragonów za pomocą TRL na jednym węźle 8x H100.

Rozpocznij pracę w notesie

Skorzystaj z poniższych samouczków, aby rozpocząć pracę z bezserwerową biblioteką języka Python procesora GPU na potrzeby trenowania rozproszonego:

Tutorial Opis
Środowisko uruchomieniowe sztucznej inteligencji z procesorami GPU H100 Dowiedz się, jak używać środowiska databricks AI Runtime z akceleratorami H100 do uruchamiania rozproszonych obciążeń procesora GPU przy użyciu biblioteki języka Python serverless_gpu.
  • Ostatnia aktualizacja o