Exemplos de CLI em tempo de execução de IA

Important

Este recurso está no Public Preview.

Os exemplos seguintes são cargas de trabalho completas, de ponta a ponta, que submete a partir da air CLI com air run -f <config>.yaml. Cada um deles inclui o YAML da carga de trabalho, todos os scripts de inicialização e o código completo. Começa pelo quickstart se nunca enviaste uma tentativa antes.

Example Description
Afinação de LLM em vários nós com FSDP Ajuste fino supervisionado do Llama-3.1-8B em 16 GPUs H100 (2 nós) usando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Regista em MLflow e pontos de verificação num volume do Unity Catalog.
Ray, olá mundo Exemplos práticos mínimos para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão bootstrap partilhado para executar clusters Ray em AI Runtime.
Treino distribuído com Ray Train Afinação fina distribuída com paralelismo de dados com o Ray Train TorchTrainer em 8 GPUs H100 num único nó, com um worker por GPU.
Inferência em lote com Ray Data e vLLM Inferência em lote offline de LLM com Ray Data e vLLM em 8 GPUs H100 num único nó, executando uma réplica vLLM por GPU e escrevendo resultados num volume do Unity Catalog como Parquet.
Pesquisa de hiperparâmetros com Ray Tune Procura de hiperparâmetros do LoRA para o Qwen2.5-0.5B com o Ray Tune em 4 nós, cada um com 1xA10, executando um ensaio por GPU e interrompendo antecipadamente os ensaios com pior desempenho com o escalonador ASHA.
  • Last updated on