Exemplos da CLI do Runtime de IA

Important

Esse recurso está em Visualização Pública.

Os exemplos a seguir são cargas de trabalho completas de ponta a ponta que você envia pela CLI air com air run -f <config>.yaml. Cada um inclui o YAML da carga de trabalho, todos os scripts de inicialização e o código completo. Comece com o início rápido caso você nunca tenha enviado uma execução antes.

Example Description
Ajuste de LLM em vários nós com FSDP Ajuste fino supervisionado de Llama-3.1-8B em 16 GPUs H100 (2 nós) usando torchrun e PyTorch Fully Sharded Data Parallel (FSDP). Logs do MLflow e nos pontos de verificação em um volume do Catálogo do Unity.
Ray, olá, mundo Exemplos mínimos funcionais para Ray Core, Ray Train, Ray Data e Ray Tune, incluindo o padrão de bootstrap compartilhado para executar clusters do Ray no AI Runtime.
Treinamento distribuído com o Ray Train Ajuste fino em paralelo de dados distribuídos com GPUs do Ray Train TorchTrainer em 8 GPUs H100 em um único nó, com um trabalhador por GPU.
Inferência em lote com Dados Ray e vLLM Inferência offline em lote com LLM usando Dados Ray e vLLM em 8 GPUs H100 em um único nó, executando uma réplica do vLLM por GPU e gravando os resultados em um volume do Catálogo do Unity no formato Parquet.
Busca por hiperparâmetros com Ray Tune Busca de hiperparâmetros LoRA para Qwen2.5-0.5B com Ray Tune em 4 nós 1xA10, executando um teste por GPU e interrompendo testes com desempenho inferior antecipadamente com o agendador ASHA.
  • Last updated on