Migrieren Sie klassische GPU-Workloads auf eine serverlose Architektur.

Wenn Sie eine bestehende Deep-Learning-Workload von einem klassischen Databricks-Cluster (mit Databricks Runtime ML) auf serverless (mit AI Runtime) umstellen, folgen Sie diesen Schritten. Um zu erfahren, warum Databricks AI Runtime für diese Workloads empfiehlt, siehe Warum AI Runtime anstelle klassischer Rechenressourcen verwenden.

1. Ersetzen Sie clusterabhängigen Code. Entferne alle Verweise auf Spark-basiertes verteiltes Training (zum Beispiel TorchDistributor) und ersetze sie durch den @distributed Decorator aus dem Databricks AI Runtime SDK (databricks.air).
2. Laden der aktualisierten Daten. Ersetzen Sie direkte DBFS-Pfade durch Unity-Katalogvolumespfade (/Volumes/...). Ersetzen Sie lokale Spark DataFrame-Vorgänge durch Spark Connect. Um dateibasierte Daten von Datenträgern zu streamen, verwenden Sie UCVolumeDataset aus databricks.air.data. Siehe Laden von Daten auf AI-Runtime.
3. Richten Sie Ihre Umgebung ein. Einige vorinstallierte Runtime-ML-Bibliotheken von Databricks sind auf AI Runtime nicht verfügbar. Richte eine serverlose GPU-Umgebung ein und installiere mit %pip install die Pakete, die dein Workload benötigt. Weitere Informationen finden Sie unter "Einrichten Ihrer Umgebung".
4. Aktualisieren Sie Prüfpunkt-Pfade. Verschiebe Prüfpunkte aus DBFS oder lokalem Speicher in Unity Catalog-Volumes (/Volumes/<catalog>/<schema>/<volume>/...). Für die verteilte Checkpoint-Erstellung verwenden Sie UCVolumeWriter und UCVolumeReader aus databricks.air.data, die die E/A über lokale NVMe-Laufwerke leiten. Siehe Checkpoint mit verteiltem Checkpoint (DCP).
5. Überprüfe deine MLflow-Konfiguration. Auf der KI-Laufzeit erstellt die .distributed() API automatisch MLflow-Läufe. Um das Experiment anzupassen, legen Sie einen absoluten Pfad fest. Um unterbrochene Läufe fortzusetzen, legen Sie einen Laufnamen fest. Sehen Sie, was MLflow bietet.
6. Testen Sie zuerst interaktiv. Überprüfen Sie Ihre Arbeitsauslastung in einem interaktiven Notizbuch, bevor Sie sie als Aufgabe planen.

Dieser Migrationsweg gilt für Workloads, die auf einen der unterstützten Einzelknoten-KI-Runtime-Beschleuniger passen.

Migrate this Databricks Runtime ML GPU notebook to AI Runtime.