Nota
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare ad accedere o modificare le directory.
L'accesso a questa pagina richiede l'autorizzazione. È possibile provare a modificare le directory.
Importante
Il @distributed decoratore usato negli esempi del notebook si trova in Public Preview.
Questi esempi consentono di scalare l’addestramento dei modelli su più GPU e nodi su AI Runtime. Gli esempi di notebook utilizzano l'API serverless_gpu Python su risorsa di calcolo GPU collegata. Gli esempi di CLI Databricks forniscono configurazioni di carico di lavoro e codice sorgente per l'addestramento a singolo nodo e a più nodi.
Annotazioni
L'addestramento distribuito multi-GPU basato su notebook è supportato sulle GPU H100.
Scegliere la tecnica di parallelismo
Scegli una tecnica di parallelismo in base alla dimensione del modello, alla memoria GPU disponibile e ai requisiti di prestazioni. La tabella seguente confronta le opzioni.
| Tecnica | Quando utilizzare |
|---|---|
| DDP (parallelismo dei dati distribuiti) | Il modello completo si adatta a una singola memoria GPU; è necessario ridimensionare la velocità effettiva dei dati |
| FSDP (parallela dei dati completamente suddivisi) | Modelli molto grandi che non rientrano nella memoria singola GPU |
| DeepSpeed ZeRO | Modelli di grandi dimensioni con esigenze avanzate di ottimizzazione della memoria |
Per informazioni dettagliate su ogni tecnica, vedere DDP, FSDP e DeepSpeed.
Per consigli e schemi che rendano il tuo percorso di formazione più efficiente e resiliente, consulta la guida alla performance e alla resilienza.
Esempi di notebook suddivisi per tecnica e framework
La tabella seguente organizza gli esempi di quaderni in base al framework o libreria e alla tecnica di parallelismo applicata. Più notebook potrebbero apparire in una singola cella.
| Framework/Library | Esempi di DDP | Esempi di FSDP | Esempi di DeepSpeed |
|---|---|---|---|
| PyTorch (nativo) |
Rete neurale MLP semplice Rilevamento delle immagini RetinaNet |
Trasformatore di parametri 10M | - |
| Huggingface TRL | Ottimizzare Gpt OSS 20B | Ottimizzare Gpt OSS 120B | Ottimizzare Llama 3.2 1B |
| Annullamento dell'annullamento | Ottimizzare finemente Llama 3.2 3B | - | - |
| Axolotl | Perfezionare Olmo3 7B | - | - |
| Fulmine | Sistema di raccomandazione a due torre | - | - |
Esempi dell'interfaccia della riga di comando
I seguenti esempi collegano a ricette eseguibili nel Cookbook AI Runtime.
| Example | Technique | Descrizione |
|---|---|---|
| Fine-tuning di ResNet-50 con Ray Train | DDP | Ottimizzare ResNet-50 con un worker Ray Train per ogni GPU A10 su due nodi. |
| Qwen2.5-3B fine-tuning con Ray Train | DDP | Ottimizza Qwen2.5-3B con un worker Ray Train per GPU su un nodo 8x H100. |
| Fine-tuning multi-nodo di Llama 3.1 8B | FSDP | Ottimizzare Llama 3.1 8B con PyTorch FSDP su due nodi 8x H100. |
| Fine-tuning multi-nodo di Qwen3.8-27B | FSDP2 | Ottimizzare Qwen3.8-27B con PyTorch FSDP2 su quattro nodi 8x H100. |
| Qwen3-8B fine-tuning per l'estrazione dati dalle fatture | DeepSpeed ZeRO-3 | Ottimizzare Qwen3-8B per l'estrazione di entità da fatture e ricevute con TRL su un nodo 8x H100. |
Inizia con un notebook
Utilizza le seguenti esercitazioni per cominciare a utilizzare la libreria Python GPU senza server per l'addestramento distribuito.
| Tutoriale | Descrizione |
|---|---|
| Runtime di intelligenza artificiale con GPU H100 | Informazioni su come usare Il runtime di intelligenza artificiale di Databricks con acceleratori H100 per eseguire carichi di lavoro GPU distribuiti usando la libreria Python serverless_gpu. |