AIランタイムでノートブックジョブをスケジュールする

AIランタイムでインタラクティブにノートブックを開発した後、同じノートブックをサーバーレスGPUコンピュートで定期ジョブとして実行できます。 スケジュールはノートブックから、または Jobs & Pipelines UIから作成するか、Jobs API や Declarative Automation Bundles を使用してコードでジョブを定義してください。

ノートブックではなくディレクトリからトレーニング コードを実行したり、マルチタスクの GPU および CPU パイプラインを構築したりするには、「GPU ワークロードのスケジュールとタスクの組み合わせ」をご覧ください。 すべてのノートブックに適用されるスケジューリングオプションについては、「 スケジュールされたノートブックジョブを作成および管理」をご覧ください。

Requirements

• AIランタイムで動作するノートブック。 AI ランタイムノートブックのクイックスタートを参照してください。
• Databricks AI環境のようなワークスペースベース環境でスケジュールジョブを実行するには、ワークスペース管理者が Jobs のプレビュー機能でサーバーレス ワークスペースベース環境のサポート を有効にする必要があります。 Manage Azure Databricks プレビューを参照してください。

ノートブックからスケジュール

1. 定期実行したいノートブックを開きます。
2. ノートの右上隅にあるをクリックします。
3. ノートブックにすでにジョブがある場合は、「スケジュールを追加」をクリックします。
4. 新しいスケジュールダイアログでジョブ名を入力し、スケジュールを設定し、コンピュートにサーバーレスGPUを選択します。
5. Create をクリックしてください。

ジョブ&パイプラインUIからスケジュールする

また、 ジョブ&パイプライン UIからジョブを作成・スケジュール管理することもできます。 手順の説明については、「 Lakeflow Jobsの設定および編集」をご覧ください。

ジョブをJobs APIまたは宣言的自動化バンドルで定義します

デプロイを自動化するには、Jobs APIやDeclarative Automation Bundlesでノートブックジョブを定義してください。 タスクのhardware_acceleratorブロックでcomputeを使用してGPUタイプを選択してください。 有効な値については、宣言的自動化バンドルでジョブにタスクを追加するを参照してください。

以下の宣言的自動化バンドル構成は、 標準環境の8台のH100 GPU上でノートブックを毎日動作させます:

resources:
  jobs:
    sample_job:
      name: sample_job_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: default
          spec:
            environment_version: '6'

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: default
          compute:
            hardware_accelerator: GPU_8xH100

DatabricksのAI環境を活用してください

DatabricksのAI環境を標準環境の代わりに使用するには、環境base_environmentでspecにdatabricks_ai_v6などのAI環境識別子を設定してください。 次に、タスクの environment_keyからその環境を参照します:

resources:
  jobs:
    sample_job:
      name: sample_job_aiv6_h100

      trigger:
        periodic:
          interval: 1
          unit: DAYS

      environments:
        - environment_key: aiv6
          spec:
            base_environment: databricks_ai_v6

      tasks:
        - task_key: notebook_task
          notebook_task:
            notebook_path: /Workspace/Users/<username>/<notebook-name>
          environment_key: aiv6
          compute:
            hardware_accelerator: GPU_8xH100

追加リソース

• GPUワークロードのスケジュール調整とタスクの構成
• スケジュールされたノートブック ジョブの作成と管理
• ノートでの分散トレーニング