Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Von Bedeutung
Dieses Feature befindet sich in der Betaversion.
Diese Beispiele skalieren das Modelltraining über mehrere GPUs und Knoten auf AI Runtime. Die Notebook-Beispiele verwenden die serverless_gpu Python-API auf zugeordneter GPU-Rechenressource. Die Databricks-CLI-Beispiele bieten Workload-Konfigurationen und Quellcode für das Training mit Einzelknoten und mehreren Knoten.
Hinweis
Notebook-basiertes Multi-GPU-verteiltes Training wird auf H100-GPUs unterstützt.
Wählen Sie Ihre Parallelitätstechnik aus.
Wählen Sie eine Parallelismus-Technik basierend auf Ihrer Modellgröße, verfügbarem GPU-Speicher und Leistungsanforderungen. Die folgende Tabelle vergleicht die Optionen.
| Verfahren | Wann verwendet werden soll |
|---|---|
| DDP (Verteilte Daten parallel) | Ein vollständiges Modell passt in den einzelnen GPU-Speicher; es wird notwendig sein, den Datendurchsatz zu skalieren. |
| FSDP (Vollständig geshardete Datenparallelität) | Sehr große Modelle, die nicht in den einzelnen GPU-Speicher passen |
| DeepSpeed ZeRO | Große Modelle mit erweiterten Speicheroptimierungsanforderungen |
Ausführliche Informationen zu den einzelnen Techniken finden Sie unter DDP, FSDP und DeepSpeed.
Für Ratschläge und Muster, um Ihre Trainingspipeline effizienter und widerstandsfähiger zu machen, siehe den Leitfaden für Leistung und Resilienz.
Notebook-Beispiele nach Technik und Framework
Die folgende Tabelle ordnet Notizbuchbeispiele nach Framework oder Bibliothek und der angewandten Parallelismus-Technik. Mehrere Notebooks könnten in einer einzigen Zelle erscheinen.
| Framework/Bibliothek | DDP-Beispiele | FSDP-Beispiele | DeepSpeed-Beispiele |
|---|---|---|---|
| PyTorch (nativ) |
Einfaches neurales MLP-Netzwerk RetinaNet-Bilddetektion |
10M-Parametertransformer | — |
| Huggingface TRL | Feinjustierung von Gpt OSS 20B | Anpassen von GPT OSS 120B | Feinabstimmung Llama 3.2 1B |
| Unsloth | Feinabstimmung Llama 3.2 3B | — | — |
| Axolotl | Feinabstimmung Olmo3 7B | — | — |
| Blitz | Zwei-Turm-Empfehlungssystem | — | — |
CLI-Beispiele
Die folgenden Beispiele verlinken zu ausführbaren Rezepten im AI Runtime Cookbook.
| Example | Technique | Beschreibung |
|---|---|---|
| ResNet-50 Feinabstimmung mit Ray Train | DDP | Feinjustieren Sie ResNet-50 mit einem Ray Train-Worker pro A10-GPU über zwei Knoten. |
| Qwen2.5-3B Feinabstimmung mit Ray Train | DDP | Feinjustiere Qwen2.5-3B mit einem Ray Train Worker pro GPU auf einem 8x H100-Knoten. |
| Multi-Knoten-Feinabstimmung von Llama 3.1 8B | FSDP | Feinjustiere Llama 3.1 8B mit PyTorch FSDP über zwei 8x H100-Knoten. |
| Multi-Knoten-Feinabstimmung von Qwen3.8-27B | FSDP2 | Feinjustieren Sie Qwen3.8-27B mit PyTorch FSDP2 über vier 8x H100-Knoten. |
| Qwen3-8B-Feinabstimmung für die Rechnungsextraktion | DeepSpeed ZeRO-3 | Feinjustieren Sie Qwen3-8B für die Entitätsextraktion aus Rechnungen und Quittungen mit TRL auf einem 8x H100-Knoten. |
Fang mit einem Notebook an
Verwenden Sie die folgenden Lernprogramme, um mit der serverlosen GPU Python-Bibliothek für verteilte Schulungen zu beginnen:
| Tutorial | Beschreibung |
|---|---|
| AI-Runtime mit H100-GPUs | Erfahren Sie, wie Sie Databricks AI Runtime mit H100-Beschleunigern verwenden, um verteilte GPU-Workloads mithilfe der serverless_gpu Python-Bibliothek auszuführen. |