Ray em ambiente de execução de IA

O Ray é um framework open source para escalar cargas de trabalho em Python. Podes correr o Ray no AI Runtime sem provisionar ou gerir a infraestrutura da GPU subjacente.

Porquê usar o Ray no AI Runtime

O Ray é frequentemente utilizado para distribuir cargas de trabalho em Python, como treino de modelos, inferência em lote, processamento de dados e ajuste de hiperparâmetros. No AI Runtime, o Ray pode aceder a dados em volumes do Unity Catalog, acompanhar experiências com MLflow e executar como parte de fluxos de trabalho de produção.

Pode usar bibliotecas comuns de Ray como Ray Core, Ray Data, Ray Train e Ray Tune no AI Runtime. As cargas de trabalho Ray existentes podem continuar a usar as APIs padrão das bibliotecas.

Como o Ray funciona com o ambiente de execução de IA

Cada aplicação Ray corre num cluster Ray, que pode conter um ou mais nós. O AI Runtime provisiona os nós e o Ray agenda tarefas e atores através dos seus recursos disponíveis de CPU e GPU. Como se inicia o Ray depende da interface de execução:

Usar o Ray em cadernos

Quando o seu portátil estiver ligado à computação GPU do AI Runtime, use ray_init() do pacote serverless_gpu para iniciar o Ray no nó anexado:

from serverless_gpu import ray_init

ray_init()

ray_init() chama a API padrão ray.init() , configura o dashboard Ray para acesso através do proxy do driver Databricks e imprime a URL do dashboard na saída do notebook. Utilize o painel para inspecionar os jobs, as tarefas, os atores, os registos e a utilização de recursos do Ray enquanto o seu código está em execução.

Exemplos de cadernos

Utilize o Ray com a CLI da Databricks

Os comandos da CLI do Databricks para AI Runtime suportam cargas de trabalho do Ray de nó único e multinó. Na configuração da carga de trabalho, especifique um valor fixo accelerator_type e o valor total num_accelerators. Os exemplos do Hello World do Ray incluem um script bootstrap reutilizável. No command da carga de trabalho, define RAY_ENTRYPOINT como o caminho do ficheiro Python e executa o script de arranque. O script de bootstrap faz o seguinte:

• No nó 0, inicia a cabeça Ray e executa o ponto de entrada configurado.
• Em todos os outros nós, inicia um trabalhador Ray e mantém-no ligado enquanto o ponto de entrada funciona.
• Depois de o ponto de entrada terminar, os processos do Ray são interrompidos.

Na aplicação, ligue-se ao cluster com ray.init(address="auto").

No ambiente Standard, adicione ray ou o adicional necessário, como ray[data], ray[train], ou ray[tune], às dependências da carga de trabalho. O Databricks AI v6 inclui o Ray.

Exemplos de CLI

Trabalho com dados e funcionalidades do Databricks

As cargas de trabalho Ray podem aceder a dados nos volumes do Unity Catalog, registar execuções com o MLflow e ser executadas como tarefas do Lakeflow Jobs definidas com Bundles de Automação Declarativa.

Dados de acesso no Catálogo Unity

Para dados tabulares numa tabela do Unity Catalog, use ray.data.read_databricks_tables() para ler uma tabela ou executar uma consulta SQL através de um armazém SQL do Databricks. Especifique o ID do armazém, catálogo e esquema porque o AI Runtime não fornece uma sessão Spark local. Pode usar SQL para realizar joins, agregações e filtros antes do Ray processar os resultados.

Para dados baseados em ficheiros e não estruturados, utilize um volume do Unity Catalog. Os processos de trabalho do Ray podem aceder a ficheiros através dos respetivos caminhos /Volumes/<catalog>/<schema>/<volume>/.... Por exemplo, o Ray Data pode ler ficheiros Parquet com ray.data.read_parquet() e escrever resultados com Dataset.write_parquet().

Acompanhar e orquestrar as cargas de trabalho

Use o MLflow para registar parâmetros, métricas e artefactos de uma carga de trabalho Ray. Ver Rastreio e observabilidade de experiências.

Para programar a carga de trabalho ou combiná-la com tarefas de preparação de dados executadas na CPU, utilize o Lakeflow Jobs e o Declarative Automation Bundles. Consulte Agendar cargas de trabalho da GPU e compor tarefas.

Migrar uma carga de trabalho Ray existente

Migrar uma carga de trabalho do Ray autogerida envolve substituir a configuração da infraestrutura e as integrações de serviços pelo modelo de execução do AI Runtime.

Avalie sua carga de trabalho

Antes de migrar, reveja as limitações. Confirme que a carga de trabalho pode funcionar num cluster de tamanho fixo com um único tipo de acelerador.

Migrar a carga de trabalho

Para migrar uma carga de trabalho Ray autogerida:

1. Escolha um notebook para desenvolvimento interativo num único nó ou a CLI do Databricks para tarefas de nó único ou de vários nós.
2. Associe os recursos existentes do cluster a um tipo de acelerador do AI Runtime e ao número de aceleradores. Veja Opções de Hardware.
3. Substitua o arranque existente do cluster por ray_init() num notebook ou pela configuração de arranque documentada do nó principal e do nó de trabalho numa workload da Databricks CLI.
4. Declare as dependências Python da carga de trabalho e atualize os seus dados, checkpoint, modelo e caminhos de saída.
5. Valide a carga de trabalho na menor configuração aplicável. Confirme o acesso aos dados, pedidos de recursos e saídas antes de testar a topologia fixa pretendida.

Limitações

O Ray on AI Runtime tem as seguintes limitações:

• O cluster Ray tem um número fixo de nós durante a duração de uma carga de trabalho. O dimensionamento automático do cluster Ray não é suportado.
• Todos os nós de um workload usam o mesmo accelerator_type. Um cluster Ray não pode conter grupos separados apenas para CPU e GPU, nem escalar a capacidade da CPU e GPU de forma independente.
• Um notebook inicia o Ray no seu nó único associado. Utilize a CLI do Databricks para um cluster Ray multinó.
• O acesso ao dashboard do Ray através do proxy do controlador do Databricks está atualmente disponível apenas para cargas de trabalho de notebooks.