Migreer klassieke GPU-workloads naar serverless

Als je een bestaande deep learning-workload verplaatst van een klassieke Databricks-cluster (met Databricks Runtime ML) naar serverless (met AI Runtime), volg dan deze stappen. Om te begrijpen waarom Databricks AI Runtime aanbeveelt voor deze workloads, zie Waarom AI Runtime gebruiken in plaats van klassieke compute.

1. Vervang clusterafhankelijke code. Verwijder alle verwijzingen naar Spark-gebaseerde gedistribueerde training (bijvoorbeeld TorchDistributor) en vervang deze door de @distributed decorator uit de Databricks AI Runtime SDK (databricks.air).
2. Bijwerken van het laden van gegevens. Vervang directe DBFS-paden door Unity Catalog-volumespaden (/Volumes/...). Lokale Spark DataFrame-bewerkingen vervangen door Spark Connect. Gebruik UCVolumeDataset van databricks.air.data om bestandsgegevens uit volumes te streamen. Zie Gegevens laden in AI Runtime.
3. Stel uw omgeving in. Sommige vooraf geïnstalleerde Databricks Runtime ML-bibliotheken zijn niet beschikbaar op AI Runtime. Zet een serverless GPU-omgeving op en installeer de pakketten die je workload nodig heeft met %pip install. Zie Uw omgeving instellen.
4. Controleerpuntpaden bijwerken. Verplaats controlepunten van DBFS of lokale opslag naar Unity Catalog-volumes (/Volumes/<catalog>/<schema>/<volume>/...). Voor gedistribueerde controlepunten gebruikt UCVolumeWriter en UCVolumeReader van databricks.air.data, welke fase I/O via lokale NVMe. Zie Checkpoint met Distributed Checkpoint (DCP).
5. Bekijk je MLflow-configuratie. Op AI Runtime maakt de .distributed() API automatisch MLflow-uitvoeringen. Om het experiment aan te passen, stel je het in op een absoluut pad. Om onderbroken runs te hervatten, stel je een runnaam in. Bekijk wat MLflow biedt.
6. Test eerst interactief. Valideer uw workload in een interactief notitieblok voordat u deze als taak plant.