Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Important
Den här funktionen finns som allmänt tillgänglig förhandsversion.
Anmärkning
Den här sidan handlar om Ray på AI Runtime. Om du använder Ray på Databricks klassiska beräkning med Databricks Runtime ML, se Ray på Databricks.
Ray är ett open-source-ramverk för att skala Python-arbetsbelastningar. Du kan skapa Ray-kluster och köra Ray-applikationer på AI Runtime, med serverless GPU-beräkning som automatiskt hanterar infrastrukturprovisionering.
AI Runtime CLI stöder Ray i konfigurationer med både enkel nod och flera noder. Inkludera ett bootstrap-skript under arbetsbelastningens command, som startar Ray-klustret och koordinerar head- och worker-noder när arbetsbelastningen startar.
Ray hello world-exemplen går igenom det här mönstret.
AI Runtime stöder Rays kärnbibliotek, inklusive Ray Core, Ray Data, Ray Train och Ray Tune. Installera biblioteket ray eller det relevanta Ray-tillägget (ray[data], ray[train], ray[tune]) som ett beroende för din arbetsbelastning i standardmiljön för Databricks. Om du använder Databricks AI-miljö ray är den förinstallerad men extramaterial måste installeras separat.
Examples
| Example | Description |
|---|---|
| Ray hello world-exempel (CLI) | Minimala exempel med en och flera noder för Ray Core, Ray Train, Ray Data och Ray Tune, inklusive kluster-bootstrap-mönstret. |
| Distribuerad utbildning med Ray Train (CLI) | Finjustera en stor språkmodell över flera noder med hjälp av Ray Train och PyTorch. |
| Batchinferens med Ray Data och vLLM (CLI) | Kör storskalig batchinferens med Ray Data för distribuerad dataladdning och vLLM för effektiv modellservering. |
| Hyperparametersökning med Ray Tune (CLI) | Sök hyperparametrar för LoRA-finjustering av Qwen2.5 med Ray Tune, där ett experiment körs per GPU och svagt presterande experiment stoppas tidigt med ASHA-schemaläggaren. |