Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Viktigt!
Den här funktionen finns i Beta.
Dessa anteckningsböcker skalar upp modellträning till flera GPU:er och noder i AI Runtime. De omfattar tre huvudsakliga parallellitetstekniker, DDP, FSDP och DeepSpeed ZeRO, med hjälp av serverless_gpu Python API på H100 GPU:er.
Anmärkning
Distribuerad träning för flera GPU:er stöds på H100 GPU:er.
Välj parallellitetsteknik
Välj en parallellismteknik baserat på din modellstorlek, tillgängligt GPU-minne och prestandakrav. Följande tabell jämför alternativen.
| Teknik | När det bör användas |
|---|---|
| DDP (distribuerad dataparallellism) | Fullständig modell passar i ett enda GPU-minne; behöver skala dataflöde |
| FSDP (fullständigt fragmenterad dataparallell) | Mycket stora modeller som inte får plats i ett enda GPU-minne |
| DeepSpeed ZeRO | Stora modeller med avancerade minnesoptimeringsbehov |
Detaljerad information om varje teknik finns i DDP, FSDP och DeepSpeed.
För råd och mönster för att göra din träningspipeline mer effektiv och motståndskraftig, se guiden för prestation och resiliens.
Exempel på notebook-filer efter teknik och ramverk
I följande tabell ordnas exempelanteckningsböcker efter det ramverk/bibliotek som du använder och den parallellitetsteknik som används. Flera notebook-filer kan visas i en enda cell.
| Ramverk/bibliotek | DDP-exempel | FSDP-exempel | DeepSpeed-exempel |
|---|---|---|---|
| PyTorch (inbyggt) |
Enkelt MLP-neuralt nätverk RetinaNet-avbildningsidentifiering |
10M-parametertransformator | — |
| Huggingface TRL | Finjustera Gpt OSS 20B | Finjustera Gpt OSS 120B | Finjustera Llama 3.2 1B |
| Ta bort rullning | Finjustera Llama 3.2 3B | — | — |
| Axolotl | Finjustera Olmo3 7B | — | — |
| Lightning | Tvåtornsrekommendatorsystem | — | — |
Get started
Använd följande självstudier för att komma igång med det serverlösa GPU Python-biblioteket för distribuerad träning:
| Handledning | Beskrivning |
|---|---|
| AI Runtime med H100 GPU:er | Lär dig hur du använder Databricks AI Runtime med H100-acceleratorer för att köra distribuerade GPU-arbetsbelastningar med hjälp av serverless_gpu Python-biblioteket. |