Porque usar IA Runtime em vez de computação clássica

AI Runtime é computação GPU serverless para treino, ajuste fino e execução de inferência em lote em modelos personalizados de deep learning. Se executares estas cargas de trabalho em computação clássica com Databricks Runtime ML, a Databricks recomenda transferi-las para AI Runtime para menor custo total de propriedade, uma experiência de desenvolvimento mais flexível e escala multinós. As secções seguintes comparam os dois para engenheiros de ML e equipas de plataforma, e descrevem como o Genie Code pode ajudar a sua equipa a migrar.

Compare AI Runtime com a computação clássica

A tabela seguinte compara AI Runtime com Databricks Runtime ML em computação clássica:

Custo total de propriedade

AI Runtime reduz o custo total de posse com GPUs serverless geridas e de alto desempenho:

• Arranque mais rápido: A infraestrutura de GPU sem servidor está disponível sob demanda, pelo que não tem de esperar que um cluster de GPU seja iniciado. Clusters clássicos de GPU podem demorar vários minutos ou mais a arrancar, dependendo do tamanho do cluster e da disponibilidade da GPU.
• Preços conforme a utilização: Paga apenas pela capacidade de computação GPU sem servidor utilizada pelas suas cargas de trabalho, sem gerir nem pagar por clusters ociosos.
• Maior utilização da GPU: Opções de computação flexíveis, carregamento rápido de dados, pontos de verificação eficientes e treino em vários nós reduzem o tempo ocioso da GPU.
• Redução do encargo administrativo: O AI Runtime gere a implementação de recursos computacionais, redes de clusters, gestão da saúde da GPU e atualizações de drivers CUDA. Com a computação tradicional, a sua equipa é responsável pela administração dos nós, pela configuração do cluster e pela manutenção contínua da infraestrutura.

Experiência do desenvolvedor

O AI Runtime oferece uma experiência de desenvolvimento flexível para cargas de trabalho de IA e deep learning:

• Conectividade: Trabalhe em notebooks, estabeleça ligação a partir de um IDE através de um túnel SSH (Beta) ou submeta cargas de trabalho com a Databricks CLI. Para automatizar execuções, agende trabalhos ou utilize Pacotes de Automação Declarativa. O Classic Compute não tem uma CLI dedicada para submeter cargas de trabalho de treino em GPU.
• Ambiente de execução dedicado para aprendizagem profunda: O AI Runtime suporta nativamente frameworks como Ray e PyTorch. Escolha o ambiente Standard para ter controlo total sobre a sua pilha de dependências, o ambiente de IA Databricks com pacotes comuns de IA e ML, ou uma imagem Docker personalizada. Os runtimes clássicos incluem um grande conjunto de bibliotecas pré-instaladas ligadas à versão de runtime.
• Depuração e observabilidade: Acompanhamento de experiências, monitorização da utilização da computação, gestão de modelos e resolução de problemas com a integração MLflow incorporada. Com a computação clássica, os registos e as métricas de utilização da computação não são armazenados automaticamente na execução do MLflow.
• Acesso seguro aos dados:Aceda a dados estruturados e não estruturados governados pelo Unity Catalog através de Spark Connect, sem executar um cluster Apache Spark.

Dimensionamento e desempenho

O AI Runtime permite-lhe dimensionar cargas de trabalho de aprendizagem profunda de forma eficiente:

• Carregamento de dados otimizado e checkpointing: Carregamento de dados de alto débito e checkpointing distribuído assíncrono aceleram os pipelines de treino e minimizam o tempo de inatividade da GPU. A computação tradicional carece de carregadores de dados nativos de elevado débito e de criação distribuída de pontos de verificação. Veja como melhorar o desempenho do treino e a resiliência em tempo de execução de IA.
• Resiliência integrada da GPU: Verificações automáticas contínuas de saúde ajudam a detetar e isolar nós da GPU com falhas, o que reduz as perturbações em longos treinos. Com a computação clássica, tem de assegurar o estado de funcionamento dos nós GPU, e isolar um nó defeituoso requer interromper cargas de trabalho ativas. Veja como mantemos as GPUs fiáveis em toda a Databricks AI, no blogue de engenharia da Databricks.
• Treino multinós: Escale de uma única GPU para treino distribuído multinós com rede de alta velocidade e configuração automática do ambiente. Para os aceleradores que suportam treino multinós, consulte opções de hardware.
• Inferência personalizada por lotes: Executar inferência personalizada por lotes em grande escala entre GPUs distribuídas sem gerir clusters de GPU.

Migrar da computação clássica para o Genie Code

O Genie Code pode ajudar a automatizar refatoração de código e configuração de ambientes em notebooks ligados ao AI Runtime quando se move uma carga de trabalho da computação clássica. Para a lista completa de passos de migração, veja Migrar cargas de trabalho clássicas de GPU para serverless.

O que o Genie Code automatiza

O Genie Code pode ajudar nas seguintes tarefas de migração:

• Refatoração: Converte notebooks do Databricks Runtime ML, como notebooks que usam TorchDistributor, em notebooks de AI Runtime que usam o decorador @distributed de databricks.air.
• Resolução de dependências: Avalia importações de notebooks, identifica pacotes em falta ou incompatíveis e configura um ambiente de GPU serverless.
• Diagnóstico de erros multi-rank: Analisa os registos de saída em todos os nós para isolar causas raiz, como erros de falta de memória (OOM) da GPU ou bloqueios de comunicação.

Exemplo de prompts de migração do Genie Code

A seguir estão exemplos de prompts que pode dar ao Genie Code:

• Conversão de código: "Migre este caderno do TorchDistributor para o decorador databricks.air @distributed."
• Configuração do ambiente: "Inspecionar pacotes importados, recomendar o Databricks AI ou o ambiente Standard, e gerar os comandos de instalação %pip necessários."
• Depuração: "Analisar os registos de treino distribuído em todos os ranks para determinar porque é que a tarefa falhou."

Recursos adicionais

• Migrar cargas de trabalho clássicas de GPU para serverless
• Início rápido do AI Runtime
• Requisitos e disponibilidade de tempo de execução de IA