Utilizar a CLI do Databricks com AI Runtime

A databricks air CLI executa cargas de trabalho de GPU de nó único e múltiplo em AI Runtime, a plataforma de computação GPU serverless sob demanda. Defina a computação, o ambiente e o comando de uma carga de trabalho em YAML, e depois submeta-a com databricks air run.

O AI Runtime trata do provisionamento da GPU e da configuração do ambiente, fornecendo o estado da execução, logs, métricas do sistema e rastreio do MLflow. O fluxo de trabalho YAML e CLI funciona naturalmente com agentes de codificação, que podem definir, submeter e monitorizar cargas de trabalho.

Use a CLI para:

• Desenvolve e itera aplicações Python a partir do teu ambiente local.
• Defina cargas de trabalho repetíveis de nó único ou de vários nós em ficheiros YAML que possa controlar com controlo de versões.
• Submeta e gere cargas de trabalho a partir de um terminal ou fluxo de trabalho automatizado de desenvolvimento.

As cargas de trabalho típicas incluem ajuste fino e pós-treino de LLM, treino distribuído, inferência em lote, aplicações Ray e pesquisa de hiperparâmetros.

Para submeter uma carga de trabalho, siga o quickstart.

Os comandos CLI do Databricks para o AI Runtime cumprem os mesmos padrões de conformidade que as cargas de trabalho do AI Runtime. Para as normas suportadas e exceções, consulte o perfil de segurança de conformidade.

Como é executada uma carga de trabalho

Forneça um ficheiro YAML da carga de trabalho, código da aplicação quando necessário e o comando que inicia a sua aplicação. Quando submeter uma carga de trabalho:

1. A definição da carga de trabalho é validada em função do esquema suportado e das restrições de configuração suportadas.
2. Se code_source estiver configurado, o código selecionado é empacotado como um snapshot e carregado.
3. A computação e o ambiente da GPU solicitados ficam configurados em cada nó.
4. O comando fornecido no workload YAML é executado em cada nó.

O envio devolve um ID de execução do trabalho que identifica a carga de trabalho. Usa-o para verificar o estado, inspecionar registos e configurações, ou cancelar a carga de trabalho. Também pode consultar a página de execução de Jobs e o experimento MLflow para detalhes de execução, métricas do sistema, registos e artefactos.

Este fluxo de trabalho proporciona provisionamento de GPU gerido, configuração de ambiente reproduzível e observabilidade incorporada sem necessidade de configurar ou manter a infraestrutura da GPU.

Configuração da carga de trabalho

Um ficheiro YAML de workload descreve os seguintes componentes:

• Experimento: O experimento MLflow e a execução que acompanha a carga de trabalho.
• Ambiente: O ambiente gerido, dependências ou imagem Docker personalizada a utilizar.
• Computação: O tipo de acelerador e o número de aceleradores a fornecer.
• Fonte do código: Um snapshot opcional do código da aplicação para disponibilizar à carga de trabalho.
• Comando: O comando shell que inicia a sua aplicação.
• Definições de runtime: Opções como tentativas, timeouts, variáveis de ambiente, segredos e permissões.

Para campos de configuração e exemplos, consulte Workload YAML reference.

Enviar código da aplicação

Use code_source para fazer upload de ficheiros de aplicação numa carga de trabalho. O AI Runtime disponibiliza o diretório carregado em cada nó e define $CODE_SOURCE_PATH para o caminho dessa localização. Por exemplo, o seguinte comando executa train.py a partir do diretório carregado:

command: python "$CODE_SOURCE_PATH/train.py"

Podes carregar a árvore de trabalho atual ou selecionar uma ramificação Git ou um commit. Para um exemplo completo, veja o quickstart.

Desenvolver e gerir cargas de trabalho

O desenvolvimento normalmente segue este processo:

1. Desenvolver localmente o código da aplicação e o YAML da carga de trabalho.
2. Valide o YAML localmente com databricks air run --file <file> --dry-run.
3. Submeta o workload com databricks air run --file <file>. Adiciona --watch aos registos do fluxo até a execução terminar.
4. Utilize databricks air get, databricks air list, e databricks air logs para inspecionar cargas de trabalho e registos.
5. Opcionalmente, parar uma carga de trabalho em execução com databricks air cancel.

Para todos os comandos e opções, consulte o air grupo de comandos.

Para execuções agendadas, fluxos de trabalho multitarefa ou promoção entre ambientes, pode usar databricks air convert-to-dabs como ponto de partida para um bundle. Consulte Agendar cargas de trabalho da GPU e compor tarefas.

Acompanhe as cargas de trabalho com o MLflow

Cada carga de trabalho submetida é representada por uma execução de tarefa no Databricks e acompanhada através de uma experiência MLflow:

• Execução de tarefas Databricks: Mostra o estado da carga de trabalho, as tentativas de execução e a saída na página de execução de Jobs.
• Experimento MLflow: Contém as execuções MLflow com métricas do sistema capturadas automaticamente, configuração da carga de trabalho e logs. A sua aplicação também pode usar as APIs do MLflow para registar parâmetros personalizados, métricas e artefactos.

Utilize o ID de Execução de Trabalho com comandos como databricks air get, databricks air logs e databricks air cancel. Para mais detalhes sobre rastreamento e observabilidade, consulte Monitorizar execuções com o MLflow e a página de execução de tarefas.

Executar cargas de trabalho de nó único e distribuidas

O AI Runtime executa o comando configurado uma vez em cada nó provisionado. Para uma carga de trabalho distribuída, fornece variáveis de coordenação como NUM_NODES, NODE_RANK, LOCAL_WORLD_SIZE, MASTER_ADDR, e MASTER_PORT.

Este modelo de execução é independente do framework. O seu comando deve iniciar e configurar o framework distribuído, por exemplo, invocando torchrun, um script de arranque Ray ou outro launcher de framework. Para exemplos, veja exemplos da CLI do Databricks para AI Runtime.

Utilize um agente de IA

A databricks-ai-runtime competência de agente fornece instruções que ajudam agentes de IA, como Claude Code, Cursor e Codex, a trabalhar com o AI Runtime através da CLI Databricks. Usa-o para criar o YAML da carga de trabalho, submeter trabalhos de treino da GPU, verificar o estado da execução, transmitir registos e cancelar execuções. Inclui também orientações para imagens Docker personalizadas.

Após instalar a CLI Databricks e configurar a autenticação, execute o seguinte comando:

databricks aitools install --skills-only --skills databricks-ai-runtime --experimental

Siga as instruções para escolher o seu agente de IA e o âmbito da instalação. Para opções de instalação, consulte aitools o grupo de comandos.

Recursos adicionais

• Referência YAML de carga de trabalho
• air grupo de comando
• Configura o teu ambiente
• Carregar dados no AI Runtime
• Exemplos da CLI da Databricks para AI Runtime