Notatka
Dostęp do tej strony wymaga autoryzacji. Może spróbować zalogować się lub zmienić katalogi.
Dostęp do tej strony wymaga autoryzacji. Możesz spróbować zmienić katalogi.
Jeśli przenosisz istniejące obciążenie deep learning z klasycznego klastra Databricks (z Databricks Runtime ML) do serwerless (z AI Runtime), postępuj zgodnie z tymi krokami. Aby dowiedzieć się, dlaczego Databricks zaleca AI Runtime dla tych obciążeń, zobacz Dlaczego używać AI Runtime zamiast klasycznych zasobów obliczeniowych.
- Zastąp kod zależny od klastra. Usuń wszelkie odniesienia do rozproszonego treningu opartego na Spark (na przykład
TorchDistributor) i zastąp je dekoratorem@distributedz Databricks AI Runtime SDK (databricks.air). - Zaktualizuj proces ładowania danych. Zastąp bezpośrednie ścieżki DBFS ścieżkami woluminów Unity Catalog (
/Volumes/...). Zastąp lokalne operacje ramki danych Spark ramką danych Spark Connect. Do strumieniowego przesyłania danych z plików z woluminów użyj elementuUCVolumeDatasetzdatabricks.air.data. Zobacz Ładowanie danych w środowisku uruchomieniowym sztucznej inteligencji. - Skonfiguruj środowisko. Niektóre preinstalowane biblioteki Databricks Runtime ML nie są dostępne w AI Runtime. Skonfiguruj środowisko GPU bez serwera i zainstaluj pakiety potrzebne Twoim obciążeniom za pomocą
%pip install. Zobacz Konfigurowanie środowiska. - Aktualizowanie ścieżek punktów kontrolnych. Przenoszenie punktów kontrolnych z DBFS lub magazynu lokalnego do woluminów katalogu Unity (
/Volumes/<catalog>/<schema>/<volume>/...). Do rozproszonego zapisywania punktów kontrolnych użyjUCVolumeWriteriUCVolumeReaderzdatabricks.air.data, które buforują operacje wejścia/wyjścia przez lokalny dysk NVMe. Zobacz Checkpoint z Distributed Checkpoint (DCP). - Przejrzyj konfigurację MLflow. W środowisku AI Runtime interfejs API
.distributed()automatycznie tworzy przebiegi MLflow. Aby dostosować eksperyment, ustaw go z absolutną ścieżką. Aby wznowić przerwane uruchomienia, ustaw nazwę uruchomienia. Zobacz, co oferuje MLflow. - Najpierw przetestuj interaktywnie. Zweryfikuj obciążenie w notesie interaktywnym przed zaplanowaniem go jako zadania.