Programar trabalhos de notebook no AI Runtime

Depois de desenvolver um notebook interativamente em AI Runtime, você pode rodar o mesmo notebook em computação serverless com GPU como um trabalho recorrente. Crie o agendamento a partir do notebook ou da interface Jobs & Pipelines, ou defina o trabalho em código com a API Jobs ou Declarative Automation Bundles.

Para executar o código de treinamento a partir de um diretório em vez de um notebook, ou para construir pipelines multitarefa de GPU e CPU, consulte Agendar workloads de GPU e compor tarefas. Para opções de agendamento que se aplicam a todos os notebooks, veja Criar e gerenciar tarefas de notebooks agendadas.

Requirements

Note

Os trabalhos agendados do AI Runtime não suportam adicionar dependências por meio do painel Environments. Instale dependências no notebook em vez disso, por exemplo, com %pip install. Trabalhos de notebook podem rodar por até dois dias, então salve checkpoints de treinamentos longos nos volumes do Unity Catalog e reinicie a partir do checkpoint mais recente. Consulte Limitações de Runtime de IA e Ponto de verificação com Checkpoint Distribuído (DCP).

Cronograma do notebook

  1. Abra o notebook que você quer executar em um agendamento.
  2. Clique em Ícone do calendário. Agendar no canto superior direito do notebook.
  3. Se o notebook já tiver trabalhos, clique em Adicionar agendamento.
  4. No diálogo de Novo Agendamento , insira o nome de um Trabalho, defina o Agendamento e selecione GPU Serverless para Computação.
  5. Clique em Criar.

O formulário de novo cronograma mostrando os campos Nome do Trabalho, Cronograma e Computação para um trabalho agendado no notebook.

Agendamento da interface de Trabalhos & Pipelines

Você também pode criar e agendar o trabalho a partir da interface Jobs & Pipelines . Para instruções passo a passo, veja Configurar e editar Lakeflow Jobs.

Criando e agendando um job para um notebook do AI Runtime a partir da interface Jobs & Pipelines.

Defina o trabalho com a API de Jobs ou Pacotes de Automação Declarativa

Para automatizar a implantação, defina o job de notebook com a API de Jobs ou Pacotes de Automação Declarativa. Selecione o tipo de GPU com hardware_accelerator no bloco da tarefacompute. Para valores válidos, consulte Adicionar tarefas a jobs em Pacotes de Automação Declarativa.

A seguinte configuração do Declarative Automation Bundles roda diariamente um notebook em GPUs 8xH100 com o ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Use o ambiente de IA da Databricks

Important

Executar um trabalho agendado que utiliza um ambiente base de workspace, incluindo o ambiente de IA Databricks, está em Beta.

Para usar o ambiente de IA Databricks em vez do ambiente Padrão, defina base_environment como um identificador de ambiente de IA, como databricks_ai_v6, no ambiente spec. Depois, faça referência a esse ambiente a partir da environment_key da tarefa:

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100

Recursos adicionais

  • Última atualização em