Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Belangrijk
De @distributed decorator die in de voorbeelden van het notitieboekje wordt gebruikt, staat in Public Preview.
Deze pagina bevat notebookvoorbeelden voor het gebruik van DDP-training (Distributed Data Parallel) in AI Runtime. DDP is de meest voorkomende parallellismetechniek voor gedistribueerde training, waarbij het volledige model wordt gerepliceerd op elke GPU en gegevensbatches worden verdeeld over GPU's.
Wanneer gebruikt u DDP?
DDP gebruiken wanneer:
- Uw model past volledig in het geheugen van één GPU
- U wilt training schalen door de gegevensdoorvoer te verhogen
- U hebt de eenvoudigste gedistribueerde trainingsmethode nodig met automatische ondersteuning in de meeste frameworks
Voor grotere modellen die niet in één GPU-geheugen passen, kunt u in plaats daarvan FSDP of DeepSpeed overwegen.
Examples
| Handleiding | Beschrijving |
|---|---|
| Een eenvoudig multilayer perceptron (MLP) neuraal netwerk trainen met behulp van PyTorch DDP | Deze notebook demonstreert gedistribueerde training van een eenvoudig multilayer perceptron (MLP) neuraal netwerk met behulp van PyTorch's DDP-module op AI Runtime. |
| OpenAI-GPT-OSS 20B-model trainen op 8xH100 met behulp van TRL en DDP | In dit notebook wordt gedemonstreerd hoe u de Serverloze GPU Python API kunt gebruiken om gesuperviseerde fijnafstemming (SFT) uit te voeren op het GPT-OSS 20B-model van Hugging Face met behulp van de Transformer Reinforcement Learning (TRL) bibliotheek. In dit voorbeeld wordt DDP gebruikt voor alle 8 H100 GPU's op het knooppunt om de grootte van de globale batch te schalen. |
| Gedistribueerde fine-tuning Llama 3.2 3B met Unsloth | Dit notebook laat zien hoe u de Serverloze GPU Python-API gebruikt om een Llama 3.2 3B-model af te stemmen met unsloth-bibliotheek in 8 A10 GPU's. Unsloth biedt geheugenefficiënte trainingsoptimalisaties en gebruikt DDP onder de motorkap via Hugging Face Accelerate. |
| Gedistribueerde afstemming van Olmo3 7B door middel van Axolotl | In dit notebook ziet u hoe u de Serverloze GPU Python-API gebruikt om een Olmo3 7B-model af te stemmen met de Axolotl-bibliotheek in 16 H100 GPU's. Axolotl is ontworpen om na-training en fine-tuning van de nieuwste LLM's te stroomlijnen. |
| Een twee-toren aanbevelingssysteem trainen met PyTorch Lightning | In dit notebook ziet u hoe u een aanbevelingsmodel met twee torens traint met PyTorch Lightning in AI Runtime. PyTorch Lightning biedt een interface op hoog niveau waarmee DDP-configuratie automatisch wordt verwerkt voor training met meerdere GPU's. Het voorbeeld bevat gegevensvoorbereiding met de MDS-indeling (Mosaic Streaming) en gedistribueerde training over A10- of H100 GPU's. Zie de pagina met aanbevelingen voor Deep learning voor de complete notitieboeken. |
Een eenvoudig multilayer perceptron (MLP) neuraal netwerk trainen met behulp van PyTorch DDP
Het volgende notebook demonstreert gedistribueerde training van een eenvoudig multilayer perceptron (MLP) neuraal netwerk met behulp van PyTorch's DDP-module op AI Runtime.
PyTorch DDP
Een twee-tower aanbevelingssysteem trainen met PyTorch Lightning
In dit notebook ziet u hoe u een aanbevelingsmodel met twee torens traint met PyTorch Lightning in AI Runtime. PyTorch Lightning biedt een interface op hoog niveau waarmee DDP-configuratie automatisch wordt verwerkt voor training met meerdere GPU's. Het voorbeeld bevat gegevensvoorbereiding met de MDS-indeling (Mosaic Streaming) en gedistribueerde training over A10- of H100 GPU's.
Zie de pagina met aanbevelingen voor Deep learning voor de complete notitieboeken.