Referência YAML de Carga de Trabalho

Esta página descreve os campos YAML da carga de trabalho aceites por databricks air run. Para sintaxe de comandos e flags, veja databricks air run. Para submeter uma carga de trabalho, consulte o quickstart da CLI do Databricks para AI Runtime.

Cada carga de trabalho requer experiment_name, compute, e command.

Example

O exemplo seguinte mostra uma configuração de carga de trabalho exemplar:

experiment_name: my-training
compute:
  accelerator_type: GPU_1xA10
  num_accelerators: 1
environment:
  version: 6
  dependencies:
    - torch
code_source:
  root_path: .
command: python $CODE_SOURCE_PATH/train.py

experiment_name

Tipo: Cadeia

Required. A experiment_name chave é o nome do experimento MLflow.

Se não existir um experimento com este nome, o AI Runtime cria-o. Caso contrário, o AI Runtime adiciona a nova corrida ao experimento existente.

Calcular

Tipo: Mapa

Required. O compute objeto define a configuração do acelerador.

Os tipos e contagens de aceleradores dependem do espaço de trabalho, da cloud e da região. Para seleção e disponibilidade de hardware, consulte Opções de hardware.

command

Tipo: Cadeia

Required. A command chave contém um comando ou script shell não vazio. Os caminhos no comando referem-se a caminhos de ficheiros remotos no contentor da carga de trabalho. Quando code_source está definido, $CODE_SOURCE_PATH contém o caminho absoluto para o código extraído.

ambiente

Tipo: Mapa

O environment objeto seleciona um ambiente gerido com dependências opcionais ou uma imagem personalizada do Catálogo Unity.

Para orientações sobre como selecionar e expandir um ambiente, consulte Configurar o seu ambiente.

Exemplo de ambiente gerido

environment:
  version: 6
  dependencies:
    - torch

Para usar uma imagem personalizada em vez de um ambiente gerido, especifique apenas unity_catalog_image:

Exemplo de imagem personalizada

environment:
  unity_catalog_image: main.ml.training:v1

code_source

Tipo: Mapa

O code_source objeto empacota código local para a carga de trabalho.

Se omitires git, a CLI empacota a árvore de trabalho, incluindo ficheiros não comprometidos e não rastreados que não são excluídos pelas regras de ignorar do Git. Um relativo root_path resolve a partir do diretório que contém o ficheiro YAML da carga de trabalho.

Git

Tipo: Mapa

O git objeto suporta as seguintes teclas:

Example

Os seguintes exemplos de pacotes selecionaram caminhos do ramo local main :

code_source:
  root_path: ./src
  include_paths:
    - training
    - configs
  git:
    branch: main

env_variables

Tipo: Mapa das cordas

A env_variables chave contém nomes simples de variáveis de ambiente e valores de cadeia. Um nome também não pode aparecer em secrets.

Example

env_variables:
  BATCH_SIZE: '32'
  LEARNING_RATE: '0.001'

idempotency_token

Tipo: Cadeia

A idempotency_token chave identifica submissões repetidas. Uma submissão repetida com o mesmo token devolve a sequência existente. A CLI gera um UUID quando esta chave é omitida. A --idempotency-key bandeira de comando tem prioridade.

max_retries

Tipo: Integer

A max_retries chave especifica o número de tentativas após a tentativa inicial. O valor deve ser não negativo. Padrão: 3.

mlflow_artifact_location

Tipo: Cadeia

A mlflow_artifact_location chave contém um dbfs:/ URI ou /Volumes/ caminho. Se omitires esta chave, um novo experimento usa a localização padrão do DBFS, e um experimento existente usa a localização do artefacto configurado. Para um experimento existente, o valor deve corresponder à localização do artefacto do experimento.

mlflow_experiment_directory

Tipo: Cadeia

A mlflow_experiment_directory chave contém o diretório de espaço de trabalho do experimento. O caminho deve começar com /Workspace.

mlflow_run_name

Tipo: Cadeia

A mlflow_run_name chave contém o nome da corrida. Se omitir esta chave, o nome da sequência passa por defeito ao valor de experiment_name.

parameters

Tipo: Mapa

A parameters chave contém valores aninhados de forma livre. A CLI serializa os valores com hyperparameters.yaml os outros artefactos de lançamento.

Example

parameters:
  learning_rate: 0.001
  model:
    hidden_size: 1024

permissões

Tipo: Lista de mapas

A permissions chave contém subsídios aplicados após a submissão. Se uma subvenção falhar, a corrida mantém-se criada e o CLI imprime um aviso.

Cada bolsa suporta as seguintes chaves:

Example

permissions:
  - user_name: trainer@example.com
    level: CAN_MANAGE
  - group_name: training-team
    level: CAN_VIEW

secrets

Tipo: Mapa das cordas

A secrets chave contém nomes de variáveis de ambiente mapeados para referências secretas no formato exato scope/key . O âmbito e a chave devem ser não vazios. Um nome também não pode aparecer em env_variables.

Example

secrets:
  HF_TOKEN: my-scope/hf-token

Para informações sobre como criar e gerir segredos, consulte Gestão de segredos.

timeout_minutes

Tipo: Integer

A timeout_minutes chave define o limite do relógio de parede para toda a corrida, incluindo tentativas. O valor deve ser positivo. Se for omitido, a carga de trabalho usa o padrão de execução da IA.

usage_policy_id

Tipo: Cadeia

A usage_policy_id chave contém o UUID canónico de uma política de uso serverless existente. Mutuamente exclusivo com usage_policy_name.

usage_policy_name

Tipo: Cadeia

A usage_policy_name chave contém o nome de uma política de utilização serverless existente. Mutuamente exclusivo com usage_policy_id.

Para informações sobre a criação de políticas de uso, consulte Utilização de atributos com políticas de uso serverless.

Recursos adicionais

• Guia de iniciação rápida da Databricks CLI para o AI Runtime
• air grupo de comando
• Versões ambientais