Planen Sie Notebook-Jobs auf AI Runtime

Nachdem du ein Notebook interaktiv unter AI Runtime entwickelt hast, kannst du dasselbe Notebook mit serverlosen GPU-Rechenressourcen als wiederkehrenden Job ausführen. Erstellen Sie den Zeitplan aus dem Notizbuch oder aus der Jobs & Pipelines UI oder definieren Sie den Job im Code mit der Jobs-API oder Declarative Automation Bundles.

Um Trainingscode aus einem Verzeichnis statt aus einem Notizbuch auszuführen oder um Multitask-GPU- und CPU-Pipelines zu erstellen, siehe GPU-Workloads planen und Aufgaben zusammensetzen. Für Planungsoptionen, die für alle Notebooks gelten, siehe Erstellen und Verwalten geplanter Notebook-Jobs.

Requirements

  • Ein Notebook, das auf AI Runtime läuft. Siehe AI Runtime Notebook Quickstart.
  • Um einen geplanten Job mit einer Workspace-Basisumgebung, wie der Databricks-KI-Umgebung, auszuführen, muss ein Workspace-Admin die Vorschau „Serverless-Workspace-Basisumgebungsunterstützung in Jobs“ aktivieren. Siehe Manage Azure Databricks Previews.

Notiz

Geplante KI-Laufzeitjobs unterstützen das Hinzufügen von Abhängigkeiten über das Environments-Panel nicht. Installiere stattdessen Abhängigkeiten im Notizbuch, zum Beispiel mit %pip install. Notebook-Jobs können bis zu zwei Tage laufen, also speichern Sie lange Trainingsläufe in Unity-Catalog-Volumes und setzen Sie sie vom neuesten Checkpoint fort. Siehe die KI-Laufzeitbeschränkungen und den Checkpoint mit Distributed Checkpoint (DCP).

Aus dem Notizbuch planen

  1. Öffne das Notebook, das du nach einem Zeitplan ausführen möchtest.
  2. Klicken Sie oben rechts im Notizbuch auf Kalendersymbol Zeitplan.
  3. Wenn das Notebook bereits Jobs hat, klicke auf Zeitplan hinzufügen.
  4. Im Dialog Neuer Zeitplan geben Sie einen Jobnamen ein, legen Sie den Zeitplan fest und wählen Sie Serverless GPU für Compute.
  5. Klicke auf Erstellen.

Das neue Zeitplanformular für einen geplanten Notebook-Auftrag mit den Feldern Jobname, Zeitplan und Rechenressourcen.

Zeitplanung aus der Benutzeroberfläche von Jobs & Pipelines

Du kannst den Job auch über die Jobs & Pipelines UI erstellen und planen. Für Schritt-für-Schritt-Anweisungen siehe Lakeflow-Jobs konfigurieren und bearbeiten.

Erstellung und Planung eines Auftrags für ein KI-Runtime-Notebook aus der Jobs & Pipelines UI.

Definieren Sie den Job mit der Jobs-API oder deklarativen Automatisierungsbündeln

Um die Bereitstellung zu automatisieren, definieren Sie den Notebook-Job mit der Jobs-API oder Declarative Automation Bundles. Wählen Sie den hardware_accelerator GPU-Typ im compute Block der Aufgabe aus. Zu den gültigen Werten siehe Aufgaben zu Jobs in deklarativen Automatisierungs-Bundles hinzufügen.

Die folgende Declarative Automation Bundles-Konfiguration führt täglich ein Notebook auf 8xH100-GPUs mit der Standardumgebung aus:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

Nutzen Sie die Databricks KI-Umgebung

Important

Das Ausführen eines geplanten Jobs, der eine Workspace-Basisumgebung nutzt, einschließlich der Databricks-KI-Umgebung, befindet sich in der Beta-Phase.

Um die Databricks-KI-Umgebung anstelle der Standardumgebung zu verwenden, setzen Sie base_environment auf einen KI-Umgebungsidentifikator, wie zum Beispiel databricks_ai_v6, in der Umgebung spec. Dann beziehen Sie sich auf diese Umgebung über das environment_key der Aufgabe:

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100

Zusätzliche Ressourcen

  • Zuletzt aktualisiert um