CLI-exempel för AI Runtime

Important

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Följande exempel är fullständiga, heltäckande arbetsbelastningar som du skickar från air-CLI:t med air run -f <config>.yaml. Varje inkluderar arbetsbelastnings-YAML, eventuella bootstrap-skript och hela koden. Börja med snabbstartsguiden om du inte har skickat in en körning tidigare.

Example Description
LLM-finjustering på flera noder med FSDP Övervakad finjustering av Llama-3.1-8B på 16 H100-GPU:er (2 noder) med torchrun och PyTorch Fully Sharded Data Parallel (FSDP). Loggar till MLflow och kontrollpunkter till en Unity Catalog-volym.
Ray hej värld Minimala fungerande exempel för Ray Core, Ray Train, Ray Data och Ray Tune, inklusive det delade bootstrap-mönstret för att köra Ray-kluster på AI Runtime.
Distribuerad träning med Ray Train Distribuerad dataparallell finjustering med Ray Trains TorchTrainer över 8 H100 GPU:er på en enda nod, med en arbetare per GPU.
Batch-slutsatsdragning med Ray Data och vLLM Offline-LLM-batchinferens med Ray Data och vLLM över 8 H100 GPU:er på en enda nod, kör en vLLM-replik per GPU och skriver resultat till en Unity Catalog-volym som Parquet.
Hyperparametersökning med Ray Tune LoRA-hyperparametersökning för Qwen2.5-0.5B med Ray Tune över 4 1xA10-noder, körande av ett test per GPU och tidigt stoppande underpresterande försök med ASHA-schemaläggaren.
  • Last updated on