Workload YAML-Referenz

Important

Dieses Feature befindet sich in der Public Preview.

Diese Seite beschreibt die Workload-YAML-Felder, die von akzeptiert werden databricks air run. Für Befehlssyntax und Flags siehe Databricks Air Run. Um eine Arbeitslast einzureichen, siehe Databricks CLI Quickstart für AI Runtime.

Jede Arbeitslast erfordert experiment_name, compute, und command.

Example

Das folgende Beispiel zeigt eine Beispiel-Workload-Konfiguration:

experiment_name: my-training
compute:
  accelerator_type: GPU_1xA10
  num_accelerators: 1
environment:
  version: 6
  dependencies:
    - torch
code_source:
  root_path: .
command: python $CODE_SOURCE_PATH/train.py

experiment_name

Typ: Zeichenfolge

Required. Der experiment_name Schlüssel ist der Name des MLflow-Experiments.

Wenn ein Experiment mit diesem Namen nicht existiert, erstellt AI Runtime es. Ansonsten fügt AI Runtime den neuen Lauf zum bestehenden Experiment hinzu.

berechnen

Typ: Karte

Required. Das Objekt compute definiert die Beschleunigerkonfiguration.

Key Typ Description
accelerator_type string Required. Ein Beschleunigertyp, der von der CLI akzeptiert und im Arbeitsbereich verfügbar ist. Der Abgleich ist case-sensitiv.
num_accelerators integer Required. Für den ausgewählten Beschleunigertyp wird eine positive Beschleunigerzählung unterstützt.
pool_id string Die ID für die bereitgestellte GPU-Kapazität.
priority_class string Die Planungspriorität für Workloads mit bereitgestellter GPU-Kapazität. Zulässige Werte sind BEST_EFFORT, NORMAL und CRITICAL. Erfordert pool_id.

Beschleunigertypen und -anzahlen hängen vom Arbeitsbereich, der Cloud und der Region ab. Für Hardware-Auswahl und Verfügbarkeit siehe Hardware-Optionen.

Befehl

Typ: Zeichenfolge

Required. Der command Schlüssel enthält einen nichtleeren Shell-Befehl oder ein Skript. Pfade im Befehl beziehen sich auf entfernte Dateipfade im Workload-Container. Wenn code_source gesetzt ist, $CODE_SOURCE_PATH enthält den absoluten Pfad zum extrahierten Code.

environment

Typ: Karte

Das environment Objekt wählt eine verwaltete Umgebung mit optionalen Abhängigkeiten oder ein benutzerdefiniertes Unity-Catalog-Image aus.

Key Typ Description
version Zeichenfolge oder ganze Zahl Eine numerische Umgebungsversion, wie 6, oder eine Databricks-KI-Umgebungsidentifikator, wie databricks_ai_v6. Ein Identifikator databricks_ai_v benötigt Version 5 oder höher. Wenn sie weggelassen wird, verwendet die CLI den aktuellen AI Runtime-Standard.
dependencies Liste der Zeichenfolgen Paketspezifikationen wurden an die serverlose Umgebung weitergegeben. Standardmäßig gibt es keine zusätzlichen Abhängigkeiten.
unity_catalog_image string Ein benutzerdefiniertes Bild im Format <catalog>.<schema>.<image>:<tag>. Mit version und dependencies gegenseitig ausschließend. Für Einrichtungsanweisungen siehe Use custom Docker images with AI Runtime.

Für Hinweise zur Auswahl und Erweiterung einer Umgebung siehe Einrichten Ihrer Umgebung.

Beispiel für eine verwaltete Umgebung
environment:
  version: 6
  dependencies:
    - torch

Um ein benutzerdefiniertes Image anstelle einer verwalteten Umgebung zu verwenden, geben Sie nur unity_catalog_imagean:

Beispiel für benutzerdefiniertes Bild
environment:
  unity_catalog_image: main.ml.training:v1

code_source

Typ: Karte

Das Objekt code_source paketiert lokalen Code für die Arbeitslast.

Key Typ Description
root_path string Erforderlich, wenn code_source festgelegt wird. Das lokale Verzeichnis zum Paket. Das Verzeichnis muss existieren, wenn die CLI den Run einleitet.
remote_volume string Ein Unity-Katalog-Volumenstandort für das hochgeladene Archiv. Muss mit /Volumes/ beginnen. Standardmäßig wird ein Arbeitsplatzstandort verwendet.
include_paths Liste der Zeichenfolgen Pfade, die relativ zu enthalten sind root_path. Einträge müssen nichtleer und relativ sein und dürfen nicht enthalten ... Lass den Schlüssel weg, um alle ausgewählten Dateien einzubeziehen. Eine leere Liste ist nicht gültig.
git object Pint den Code-Quell-Snapshot an einen lokalen Git-Branch oder Commit an.

Wenn Sie , gitverpackt die CLI den Arbeitsbaum, einschließlich uncommitted und untracked-Dateien, die nicht durch die Git-Ignorieren-Regeln ausgeschlossen sind. Ein Verwandter root_path löst sich aus dem Verzeichnis auf, das die Workload-YAML-Datei enthält.

Git

Typ: Karte

Das git Objekt unterstützt die folgenden Schlüssel:

Key Typ Description
branch string Erforderlich, wenn commit es ausgelassen wird. Paketiert den lokalen LEITER der Filiale. Ausgewählte Dateien können keine nicht kommittierten Änderungen enthalten.
commit string Erforderlich, wenn branch es ausgelassen wird. Paketiert einen Commit aus dem lokalen Git-Objektspeicher. Gegenseitiger Ausschluss mit branch
Example

Das folgende Beispiel paketiert ausgewählte Pfade aus dem lokalen main Zweig:

code_source:
  root_path: ./src
  include_paths:
    - training
    - configs
  git:
    branch: main

env_variables

Typ: Abbildung der Zeichenketten

Der env_variables Schlüssel enthält einfache Umgebungsvariablennamen und String-Werte. Ein Name kann auch nicht in secretserscheinen.

Example
env_variables:
  BATCH_SIZE: '32'
  LEARNING_RATE: '0.001'

idempotency_token

Typ: Zeichenfolge

Der idempotency_token Schlüssel identifiziert wiederholte Einreichungen. Eine wiederholte Einreichung mit demselben Token gibt den bestehenden Lauf zurück. Die CLI erzeugt ein UUID, wenn dieser Schlüssel weggelassen wird. Die Kommandoflagge --idempotency-key hat Vorrang.

max_retries

Typ: Ganzzahl

Der max_retries Schlüssel gibt die Anzahl der Wiederholungen nach dem ersten Versuch an. Der Wert muss nicht negativ sein. Standardwert: 3.

mlflow_artifact_location

Typ: Zeichenfolge

Der mlflow_artifact_location Schlüssel enthält eine URI oder /Volumes/ einen dbfs:/ Pfad. Wenn Sie diesen Schlüssel weglassen, verwendet ein neues Experiment den Standard-DBFS-Standort, und ein bestehendes Experiment verwendet seinen konfigurierten Artefaktstandort. Für ein bestehendes Experiment muss der Wert mit dem Artefaktstandort des Experiments übereinstimmen.

mlflow_experiment_directory

Typ: Zeichenfolge

Der mlflow_experiment_directory Schlüssel enthält das Workspace-Verzeichnis des Experiments. Der Weg muss mit /Workspacebeginnen.

mlflow_run_name

Typ: Zeichenfolge

Der mlflow_run_name Schlüssel enthält den Laufnamen. Wenn Sie diesen Schlüssel weglassen, erhält der ausführende Name standardmäßig den Wert von experiment_name.

parameters

Typ: Karte

Der parameters Schlüssel enthält frei verschachtelte Werte. Die CLI serialisiert die Werte mit hyperparameters.yaml den anderen Startartefakten.

Example
parameters:
  learning_rate: 0.001
  model:
    hidden_size: 1024

permissions

Typ: Liste der Karten

Der permissions Schlüssel enthält Fördermittel, die nach der Einreichung beantragt wurden. Wenn ein Antrag scheitert, bleibt der Run bestehen und die CLI druckt eine Warnung aus.

Jeder Zuschuss unterstützt die folgenden Schlüssel:

Key Typ Description
level string Required. Eine Berechtigungsstufe, wie CAN_VIEW oder CAN_MANAGE. Der Arbeitsbereich validiert den Wert.
user_name string Die Benutzer-E-Mail. Geben Sie für jede Förderung genau eine von user_name, group_name, oder service_principal_name an.
group_name string Der Gruppenname. Geben Sie für jede Förderung genau eine von user_name, group_name, oder service_principal_name an.
service_principal_name string Der Dienstprinzipalname. Geben Sie für jede Förderung genau eine von user_name, group_name, oder service_principal_name an.
Example
permissions:
  - user_name: trainer@example.com
    level: CAN_MANAGE
  - group_name: training-team
    level: CAN_VIEW

secrets

Typ: Abbildung der Zeichenketten

Der secrets Schlüssel enthält Namen der Umweltvariablen, die auf geheime Referenzen im exakten scope/key Format abgebildet sind. Der Umfang und der Schlüssel müssen nicht leer sein. Ein Name kann auch nicht in env_variableserscheinen.

Example
secrets:
  HF_TOKEN: my-scope/hf-token

Informationen zur Erstellung und Verwaltung von Geheimnissen finden Sie unter Geheimnisverwaltung.

timeout_minutes

Typ: Ganzzahl

Der timeout_minutes Schlüssel legt das Wanduhrlimit für den kompletten Lauf fest, einschließlich Wiederholungen. Der Wert muss positiv sein. Wenn sie weggelassen wird, verwendet die Arbeitslast die KI-Laufzeit-Standardeinstellung.

usage_policy_id

Typ: Zeichenfolge

Der usage_policy_id Schlüssel enthält die kanonische UUID einer bestehenden serverlosen Nutzungsrichtlinie. Gegenseitiger Ausschluss mit usage_policy_name

usage_policy_name

Typ: Zeichenfolge

Der usage_policy_name Schlüssel enthält den Namen einer bestehenden serverlosen Nutzungsrichtlinie. Gegenseitiger Ausschluss mit usage_policy_id

Informationen zur Erstellung von Nutzungsrichtlinien finden Sie unter Attributnutzung mit serverlosen Nutzungsrichtlinien.

Weitere Ressourcen

  • Zuletzt aktualisiert um