YAML-referens för arbetsbelastning

Viktigt!

Den här funktionen finns som allmänt tillgänglig förhandsversion.

Denna sida beskriver de arbetsbelastningsfält som YAML-fält accepterar av databricks air run. För kommandosyntax och flaggor, se databricks air run. För att skicka in en arbetsbelastning, se Databricks CLI quickstart för AI Runtime.

Varje arbetsbelastning kräver experiment_name, compute, och command.

Example

Följande exempel visar en exempelkonfiguration för arbetsbelastning:

experiment_name: my-training
compute:
  accelerator_type: GPU_1xA10
  num_accelerators: 1
environment:
  version: 6
  dependencies:
    - torch
code_source:
  root_path: .
command: python $CODE_SOURCE_PATH/train.py

experiment_name

Typ: Sträng

Required. Nyckeln experiment_name är namnet på MLflow-experimentet.

Om ett experiment med detta namn inte existerar, skapar AI Runtime det. Annars lägger AI Runtime till den nya körningen till det befintliga experimentet.

beräkna

Typ: Karta

Required. Objektet compute definierar acceleratorkonfigurationen.

Key Type Description
accelerator_type string Required. En acceleratortyp som accepteras av CLI och finns tillgänglig i arbetsytan. Matchning är skiftlägeskänslig.
num_accelerators integer Required. En positiv acceleratorräkning stöds för den valda acceleratortypen.
pool_id string ID:t för provisionerad GPU-kapacitet.
priority_class string Schemaläggningsprioriteten för arbetsbelastningar som använder provisionerad GPU-kapacitet. Godkända värden är BEST_EFFORT, NORMALoch CRITICAL. Kräver pool_id.

Acceleratortyper och antal beror på arbetsytan, molnet och regionen. För hårdvaruval och tillgänglighet, se Hårdvarualternativ.

command

Typ: Sträng

Required. Nyckeln command innehåller ett icke-tomt skalkommando eller skript. Vägar i kommandot avser fjärrfilers vägar i arbetsbelastningscontainern. När code_source är satt, $CODE_SOURCE_PATH innehåller den absoluta vägen till den extraherade koden.

environment

Typ: Karta

Objektet environment väljer en hanterad miljö med valfria beroenden eller en anpassad Unity Catalog-image.

Key Type Description
version sträng eller heltal En numerisk miljöversion, såsom 6, eller en Databricks AI-miljöidentifierare, såsom databricks_ai_v6. En databricks_ai_v identifierare kräver version 5 eller högre. Om den utelämnas använder CLI:n den nuvarande AI Runtime-standarden.
dependencies lista över strängar Paketspecifikationer överfördes till den serverlösa miljön. Som standard finns inga ytterligare beroenden.
unity_catalog_image string En anpassad bild i formatet <catalog>.<schema>.<image>:<tag>. Kan inte användas tillsammans med version och dependencies. För installationsinstruktioner, se Använd anpassade Docker-bilder med AI Runtime.

För vägledning om att välja och utöka en miljö, se Sätt upp din miljö.

Exempel på hanterad miljö
environment:
  version: 6
  dependencies:
    - torch

För att använda en anpassad avbildning istället för en hanterad miljö, ange endast unity_catalog_image:

Exempel på anpassad bild
environment:
  unity_catalog_image: main.ml.training:v1

code_source

Typ: Karta

Objektet paketerar code_source lokal kod för arbetsbelastningen.

Key Type Description
root_path string Krävs när code_source anges. Den lokala katalogen för att paketera. Katalogen måste finnas när CLI i:ar körningen.
remote_volume string En volymplats för Unity-katalogen för det uppladdade arkivet. Måste börja med /Volumes/. Standardinställningen är en arbetsplatsplats.
include_paths lista över strängar Vägar att inkludera relativt root_path. Poster måste vara icke-tomma och relativa, och får inte innehålla ... Utelämna nyckeln för att inkludera alla valda filer. En tom lista är inte gald.
git object Fäster kodkällssnapshoten i en lokal Git-gren eller commit.

Om du utelämnar git, paketerar CLI:n arbetsträdet, inklusive ocommittade och ospårade filer som inte utesluts av Git ignorer-reglerna. En relativ root_path löser från katalogen som innehåller arbetsbelastningsfilen YAML.

Git

Typ: Karta

Objektet git stöder följande nycklar:

Key Type Description
branch string Krävs när commit den utelämnas. Paketerar den lokala CHEFEN för filialen. Utvalda filer kan inte innehålla oavslutade ändringar.
commit string Krävs när branch den utelämnas. Paketerar en commit från den lokala Git-objektbutiken. Ömsesidigt uteslutande med branch.
Example

Följande exempel paketerar utvalda vägar från den lokala main grenen:

code_source:
  root_path: ./src
  include_paths:
    - training
    - configs
  git:
    branch: main

env_variables

Typ: Karta över strängar

Nyckeln env_variables innehåller enkla miljövariabler och strängvärden. Ett namn kan inte heller förekomma i secrets.

Example
env_variables:
  BATCH_SIZE: '32'
  LEARNING_RATE: '0.001'

idempotency_token

Typ: Sträng

Nyckeln idempotency_token identifierar upprepade inskick. En upprepad submission med samma token returnerar den befintliga körningen. CLI:n genererar en UUID när denna nyckel utelämnas. Kommandoflaggan --idempotency-key har företräde.

max_retries

Typ: Heltal

Nyckeln max_retries anger antalet omförsök efter det första försöket. Värdet måste vara icke-negativt. Standardvärde: 3.

mlflow_artifact_location

Typ: Sträng

Nyckeln mlflow_artifact_location innehåller en dbfs:/ URI eller /Volumes/ en väg. Om du utelämnar denna nyckel använder ett nytt experiment standardplatsen för DBFS, och ett befintligt experiment använder sin konfigurerade artefaktplats. För ett befintligt experiment måste värdet matcha experimentets artefaktplats.

mlflow_experiment_directory

Typ: Sträng

Nyckeln mlflow_experiment_directory innehåller arbetsytkatalogen för experimentet. Vägen måste börja med /Workspace.

mlflow_run_name

Typ: Sträng

Nyckeln mlflow_run_name innehåller run-namnet. Om du utelämnar denna nyckel blir körnamnet som standard värdet av experiment_name.

parameters

Typ: Karta

Nyckeln parameters innehåller fria nästlade värden. CLI:n serialiserar värdena till hyperparameters.yaml de andra startartefakten.

Example
parameters:
  learning_rate: 0.001
  model:
    hidden_size: 1024

permissions

Typ: Lista över kartor

Nyckeln permissions innehåller bidrag som ansökts efter inlämning. Om ett bidrag misslyckas skapas körningen och CLI skriver ut en varning.

Varje bidrag stödjer följande nycklar:

Key Type Description
level string Required. En behörighetsnivå, såsom CAN_VIEW eller CAN_MANAGE. Arbetsytan validerar värdet.
user_name string Användarens e-post. Ange exakt en av user_name, group_name, eller service_principal_name för varje bidrag.
group_name string Gruppnamnet. Ange exakt en av user_name, group_name, eller service_principal_name för varje bidrag.
service_principal_name string Tjänstens huvudnamn. Ange exakt en av user_name, group_name, eller service_principal_name för varje bidrag.
Example
permissions:
  - user_name: trainer@example.com
    level: CAN_MANAGE
  - group_name: training-team
    level: CAN_VIEW

secrets

Typ: Karta över strängar

Nyckeln secrets innehåller miljövariabler som mappas till hemliga referenser i exakt scope/key samma format. Omfängelsen och nyckeln måste vara icke-tomma. Ett namn kan inte heller förekomma i env_variables.

Example
secrets:
  HF_TOKEN: my-scope/hf-token

För information om att skapa och hantera hemligheter, se Hemlighetshantering.

timeout_minutes

Typ: Heltal

Nyckeln timeout_minutes sätter väggklockgränsen för hela körningen, inklusive omförsök. Fältet måste vara positivt. Om det utelämnas använder arbetsbelastningen AI Runtime-standarden.

usage_policy_id

Typ: Sträng

Nyckeln usage_policy_id innehåller den kanoniska UUIDEN för en befintlig serverlös användningspolicy. Ömsesidigt uteslutande med usage_policy_name.

usage_policy_name

Typ: Sträng

Nyckeln usage_policy_name innehåller namnet på en befintlig serverless användningspolicy. Ömsesidigt uteslutande med usage_policy_id.

För information om hur man skapar användningspolicys, se Attributanvändning med serverlösa användningspolicys.

Ytterligare resurser

  • Uppdaterades senast