Migrar cargas de trabalho clássicas de GPU para um ambiente sem servidor

Se você está movendo uma carga de trabalho de deep learning existente de um cluster clássico Databricks (com Databricks Runtime ML) para serverless (com AI Runtime), siga estes passos. Para entender por que a Databricks recomenda AI Runtime para essas cargas de trabalho, veja Por que usar AI Runtime em vez de classic compute.

1. Substitua o código dependente do cluster. Remova quaisquer referências ao treinamento distribuído baseado em Spark (por exemplo, TorchDistributor) e substitua-as pelo @distributed decorador do Databricks AI Runtime SDK (databricks.air).
2. Atualizar o carregamento de dados. Substitua caminhos DBFS diretos por caminhos de volumes do Catálogo do Unity (/Volumes/...). Substitua as operações locais do DataFrame do Spark pelo Spark Connect. Para fazer streaming de dados de arquivos a partir de volumes, use UCVolumeDataset de databricks.air.data. Consulte Carregar dados no AI Runtime.
3. Configure seu ambiente. Algumas bibliotecas pré-instaladas do Databricks Runtime ML não estão disponíveis no AI Runtime. Configure um ambiente de GPU serverless e instale os pacotes que sua carga de trabalho precisa com %pip install. Veja Configuração do ambiente.
4. Atualizar caminhos de ponto de verificação. Mova pontos de verificação do DBFS ou armazenamento local para volumes do Unity Catalog (/Volumes/<catalog>/<schema>/<volume>/...). Para ponto de verificação distribuído, use UCVolumeWriter e UCVolumeReader de databricks.air.data, que armazenam temporariamente a E/S por meio de NVMe local. Veja Checkpoint com Checkpoint Distribuído (DCP).
5. Revise sua configuração de MLflow. No AI Runtime, a API .distributed() cria execuções do MLflow automaticamente. Para personalizar o experimento, defina-o com um caminho absoluto. Para retomar execuções interrompidas, defina um nome para a execução. Veja o que o MLflow oferece.
6. Teste interativamente primeiro. Valide sua carga de trabalho em um notebook interativo antes de agendá-la como um trabalho.

Esse caminho de migração se aplica a cargas de trabalho que cabem em um dos aceleradores AI Runtime de nó único compatíveis.

Migrate this Databricks Runtime ML GPU notebook to AI Runtime.