Ray w środowisku wykonawczym AI

Ważna

Ta funkcja jest dostępna w publicznej wersji testowej.

Uwaga / Notatka

Ta strona dotyczy Ray w środowisku AI Runtime. Jeśli używasz Ray w klasycznym środowisku obliczeniowym Databricks z Databricks Runtime ML, zobacz Ray on Databricks.

Ray to open source framework do skalowania obciążeń Python. Możesz tworzyć klastry Ray i uruchamiać aplikacje Ray na AI Runtime, korzystając z procesorów GPU bez serwera, które automatycznie zarządza infrastrukturą.

Używaj Raya w zeszytach

Gdy notebook jest połączony z zasobem obliczeniowym GPU środowiska AI Runtime, użyj ray_init() z pakietu serverless_gpu, aby uruchomić Ray na dołączonym zasobie obliczeniowym:

from serverless_gpu import ray_init

ray_init()

ray_init() konfiguruje panel Ray do uzyskiwania dostępu przez serwer proxy sterownika Databricks i wyświetla adres URL panelu w danych wyjściowych notatnika. Użyj panelu, aby monitorować zadania i taski Ray oraz użycie zasobów podczas działania kodu.

Uwaga / Notatka

ray_init() Wymaga środowiska w wersji 5 lub nowzej. Databricks AI v5 zawiera Ray. Jeśli używasz Standard v5, zainstaluj Ray przed połączeniem ray_init().

Przykłady notebooków

Example Opis
Ray Core, witaj świat Wysyłaj asynchroniczne zadania GPU na podłączonym komputerze, przeglądaj harmonogramowanie w panelu Ray i pobieraj wyniki.
Wnioskowanie wsadowe Qwen2.5-32B z użyciem Ray Data i vLLM Uruchom wielojęzyczną inferencję wsadową z ośmioma utrzymywanymi replikami vLLM na 8 procesorach GPU H100 i zapisz wyniki w formacie Parquet w Unity Catalog.

Użyj Ray za pomocą CLI AI Runtime

AI Runtime CLI obsługuje Ray w konfiguracjach pojedynczych i wielowęzłowych. Dołącz skrypt startowy w sekcji command obciążenia, który uruchamia klaster Ray i koordynuje węzeł główny oraz węzły robocze przy uruchamianiu obciążenia. Przykłady Raya Hello World przechodzą przez ten schemat.

AI Runtime obsługuje podstawowe biblioteki Ray, w tym Ray Core, Ray Data, Ray Train oraz Ray Tune. W standardowym środowisku dodaj ray lub odpowiednie dodatkowe (ray[data], ray[train], lub ray[tune]) do zależności obciążenia. Środowisko AI Databricks obejmuje Ray.

Przykłady CLI

Example Opis
Przykłady Hello World w Ray Minimalne przykłady jednowęzłowe i wielowęzłowe dla Ray Core, Ray Train, Ray Data i Ray Tune, w tym wzorzec inicjalizacji klastra.
Trenowanie rozproszone za pomocą programu Ray Train Dopracuj duży model językowy na wielu węzłach za pomocą Ray Train i PyTorch.
Wnioskowanie wsadowe z użyciem Ray Data i vLLM Uruchamiaj inferencję wsadową na dużą skalę, używając Ray Data do rozproszonego ładowania danych oraz vLLM do wydajnego udostępniania modeli.
Wyszukiwanie hiperparametrów za pomocą Ray Tune Wyszukaj hiperparametry dostrajania LoRA dla Qwen2.5 za pomocą Ray Tune, uruchamiając jedną próbę na każdy GPU i wcześnie zatrzymując słabo działające próby przy użyciu harmonogramu ASHA.
  • Last updated on