Configurar o ambiente

O AI Runtime fornece dois ambientes Python geridos para computação com GPU serverless. O ambiente Standard inclui cuda. A partir da versão 5 do ambiente, torch e torchvision já não estão pré-instalados. O ambiente de IA do Databricks está pré-carregado com PyTorch, Transformers e outros frameworks de ML e deep learning. Escolha o ambiente Standard para controlo total sobre a sua pilha de dependências, ou o ambiente de IA para uma configuração de treino pronta a usar. Podes começar a partir de qualquer um dos ambientes e instalar mais pacotes tu próprio.

Pontos-chave nesta página:

• Escolha o ambiente Standard para controlo total sobre dependências, ou o ambiente de IA Databricks para uma stack de ML pronta a usar.
• O padrão inclui cuda. A partir da versão 5 do ambiente, torch e torchvision não estão pré-instalados. O ambiente de IA adiciona PyTorch, Transformers e mais.
• Instale mais pacotes com %uv pip install (ambiente, versão 5 ou superior) ou %pip install num notebook, ou com environment.dependencies na linha de comandos.

Que ambiente usar

O AI Runtime oferece dois ambientes Python geridos, o ambiente Standard e o ambiente de IA Databricks.

Também podes usar um ambiente base de workspace que um administrador de workspace construiu para o AI Runtime. Veja Build para computação de GPU serverless (AI Runtime).

Para escolher um ambiente num caderno, abra o painel lateral Ambiente e selecione um ambiente base:

Ambiente padrão (ambiente mínimo)

Um ambiente mínimo e estável contendo apenas os pacotes necessários para a operação em tempo de execução da IA. O ambiente inclui cuda suporte para GPU. A partir da versão 5 do ambiente, torch e torchvision já não estão pré-instalados. Instale as versões que a sua carga de trabalho precisa com %uv pip install ou %pip install. Para os pacotes instalados em cada versão do ambiente, consulte as notas de lançamento abaixo.

Ideal para: Utilizadores que querem controlo total sobre a sua pilha de dependências e preferem instalar apenas o que precisam.

Para selecionar: No painel lateral de Ambiente , escolha Standard v6 como ambiente base.

Para mais detalhes sobre as versões dos pacotes instaladas em diferentes versões, consulte as notas de lançamento:

• Ambiente GPU 6
• Ambiente GPU 5
• Ambiente GPU 4

Ambiente de IA Databricks

Disponível no ambiente 4 e posteriores. O ambiente de IA é construído sobre o ambiente Standard, com pacotes comuns de execução e pacotes específicos para aprendizagem automática em GPUs. Os pacotes pré-instalados incluem:

• PyTorch (com suporte CUDA)
• Transformers (Hugging Face)
• E também as dependências adicionais de ML/DL

Ideal para: profissionais de ML que querem um ambiente completo para treinar cargas de trabalho, ajustes finos e experimentação sem gestão manual de dependências.

Para selecionar: No painel lateral de Ambiente , escolha AI v6 como ambiente base.

Para mais detalhes sobre as versões dos pacotes instaladas em diferentes versões, consulte as notas de lançamento:

• Ambiente de IA 6
• Ambiente de IA 5
• Ambiente de IA 4

Instale pacotes adicionais

Podes começar a partir de um ambiente gerido ou de um ambiente base de espaço de trabalho e instalar os teus próprios pacotes Python por cima. A forma como os instalas depende de como te ligas ao AI Runtime.

Em um caderno

Instale pacotes no início do seu notebook ou script de treino com %uv pip, que utiliza o uv e é mais rápido do que %pip. Versões com pinos para que as corridas se mantenham reprodutíveis:

%uv pip install "trl==1.1.0"
%uv pip install "transformers==5.5.4"

Para obter a referência completa de %pip e %uv pip, incluindo as versões de ambiente que suportam cada uma, consulte Gerir bibliotecas com comandos %uv.

Quando utiliza o decorador @distributed para cargas de trabalho com várias GPUs, os pacotes que instala antes de chamar .distributed() são automaticamente guardados em instantâneo e propagados para todos os processos distribuídos. O tamanho total dos pacotes instalados não deve exceder 15 GB. Para mais detalhes, veja Adicionar dependências ao caderno.

Com o CLI

A air CLI utiliza os mesmos ambientes geridos. Selecione uma com environment.version, depois liste os pacotes a instalar sobre essa base em environment.dependencies no YAML da sua carga de trabalho. A CLI instala-os no ambiente selecionado com UV, por isso não geres um ambiente virtual separado por ti próprio:

environment:
  version: '6'
  dependencies:
    - trl==1.1.0
    - transformers==5.5.4

Para começar pelo ambiente de IA Databricks, defina version para um identificador de ambiente de IA como databricks_ai_v5. Para o formato completo de dependência, flags de instalação suportadas e suporte a imagens Docker personalizadas, consulte environment.

Ambientes base de trabalho

Um administrador do espaço de trabalho pode criar um ambiente base do espaço de trabalho para computação sem servidor com GPU, que fica disponível para todos os utilizadores do espaço de trabalho através do menu pendente Ambiente base. Para mais detalhes, consulte Compilar para computação GPU sem servidor (AI Runtime).

Para usar um ambiente base numa carga de trabalho agendada, refira-se a ele pelo respetivo identificador no bloco environments de uma tarefa ou pacote. Por exemplo, esta tarefa Declarative Automation Bundles seleciona o ambiente de IA Databricks:

resources:
  jobs:
    train:
      tasks:
        - task_key: train
          environment_key: default
      environments:
        - environment_key: default
          spec:
            base_environment: databricks_ai_v6

Para um exemplo completo de trabalho, veja Agendar com a API de Jobs e Pacotes de Automação Declarativa.

Cache de ambiente e módulos personalizados

Quando é que os ambientes são armazenados em cache?

O AI Runtime armazena em cache o ambiente do seu portátil, por isso, quando o reabrir, não precisa de reinstalar pacotes. Para detalhes, veja Reiniciar as dependências do ambiente.

O cache aplica-se a cadernos interativos. As cargas de trabalho executadas através da air CLI ou tarefas agendadas como não usam esta cache; cada execução instala as suas dependências de forma nova.

Como boa prática, fixe os pacotes numa versão específica para que o ambiente em cache se mantenha válido e as suas execuções sejam reproduzíveis.

Como importo módulos personalizados?

Os passos seguintes mostram como usar os seus próprios módulos em Python.

1. Sincroniza o teu código com o espaço de trabalho. Clone um repositório Git para o espaço de trabalho com uma pasta Git, ou carregue os ficheiros diretamente como ficheiros de espaço de trabalho. Guarde código partilhado em /Workspace/Shared para projetos de equipa, ou na pasta do utilizador para desenvolvimento pessoal. Manter o código num repositório Git mantém-no sob controlo de versões.
2. Adiciona a pasta sys.path e importa-a no topo do teu caderno ou script de treino:

import sys
sys.path.append("/Workspace/Shared/my-project/src")
from my_module import my_function

Limitações

As seguintes capacidades não estão disponíveis no AI Runtime:

• Funções Spark: Não pode importar nem usar funções PySpark diretamente. O AI Runtime é um ambiente exclusivo de Python; O Spark não está disponível como tempo de execução local. No entanto, o Spark Connect está disponível para carregamento de dados. Consulte os dados de carregamento do tempo de execução de IA.
• Bibliotecas do Databricks Runtime ML: Os pacotes pré-instalados não substituem o Databricks Runtime ML. Algumas bibliotecas de ML disponíveis no Databricks Runtime ML podem não estar pré-instaladas no AI Runtime.
• Artefactos privados: O AI Runtime suporta artefactos privados em certos casos. Contacte a sua equipa de contas para mais detalhes.