Agendar trabalhos de notebook no AI Runtime

Depois de desenvolver um notebook de forma interativa no AI Runtime, pode correr o mesmo notebook em computação GPU serverless como um trabalho recorrente. Crie o agendamento a partir do notebook ou da interface Jobs & Pipelines, ou defina o job em código com a API Jobs ou Declarative Automation Bundles.

Para executar código de treino a partir de um diretório em vez de um caderno, ou para construir pipelines multitarefa de GPU e CPU, consulte Agendar cargas de trabalho GPU e compor tarefas. Para opções de agendamento que se aplicam a todos os notebooks, veja Criar e gerir trabalhos agendados de notebooks.

Requirements

Note

As tarefas agendadas do AI Runtime não suportam a adição de dependências através do painel Ambientes. Instale dependências no notebook, por exemplo com %pip install. Os trabalhos de notebook podem correr até dois dias, por isso crie pontos de controlo para treinos longos nos volumes do Unity Catalog e recomece a partir do ponto de controlo mais recente. Veja as limitações do AI Runtime e o Checkpoint com Distributed Checkpoint (DCP).

Agendar a partir do portátil

  1. Abre o notebook que queres executar de forma agendada.
  2. Clique no ícone de Calendário. Agendar no canto superior direito do portátil.
  3. Se o caderno já tiver trabalhos, clica em Adicionar agendamento.
  4. No diálogo Nova programação, introduza um nome da tarefa, defina a Programação e selecione GPU Serverless para Computação.
  5. Clique em Criar.

O novo formulário de agendamento que mostra os campos Nome do Trabalho, Horário e Computação para um trabalho agendado no notebook.

Agendar a partir da interface Jobs & Pipelines

Também podes criar e agendar o trabalho a partir da interface Jobs & Pipelines . Para instruções passo a passo, consulte Configurar e editar Lakeflow Jobs.

Criar e agendar um job para um notebook do AI Runtime a partir da interface Jobs & Pipelines.

Defina o trabalho com a API Jobs ou Pacotes de Automação Declarativa

Para automatizar a implantação, defina o trabalho notebook com a API Jobs ou Declarative Automation Bundles. Selecione o tipo de GPU com hardware_accelerator no bloco compute da tarefa. Para valores válidos, consulte Adicionar tarefas a trabalhos em Pacotes de Automação Declarativa.

A seguinte configuração do Declarative Automation Bundles executa diariamente um notebook em GPUs 8xH100 com o ambiente Standard:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Utilize o ambiente de IA da Databricks

Important

Executar um trabalho agendado que utilize um ambiente base de espaço de trabalho, incluindo o ambiente de IA Databricks, está em Beta.

Para usar o ambiente de IA da Databricks em vez do ambiente Standard, defina base_environment para um identificador de ambiente de IA, como databricks_ai_v6, na definição de ambiente spec. Depois, refira esse ambiente a partir da tarefa environment_key:

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100

Recursos adicionais

  • Última atualização a