GenieコードとAIランタイムを組み合わせて使う

Important

この機能は パブリック プレビュー段階です。

Genie Codeは、AIランタイムに接続されたノートブック上でディープラーニングワークロードの開発とトラブルシューティングを支援します。 分散型トレーニングコードの生成、環境や依存関係の問題の解決、GPUワークロードの障害の調査などが可能です。

Genie Codeは、AIランタイムノートブック上で8台のH100 GPUに分散型CNNトレーニングワークロードを作成・実行します。

Requirements

Genie CodeとAIランタイムを使うには:

概要

  1. Azure Databricks notebookを開く。

  2. ノートブックをAIランタイムに接続します。 「 Connect to AI Runtime」を参照してください。

  3. ジーニーコードの窓を開いてください。

  4. 開発したい作業量や解決したい問題について説明してください。

  5. 提案された計画、コードの変更点、行動を承認する前に必ず確認してください。

    Important

    ジーニーコードはミスを犯すことがある。 生成されたコード、環境の変更、その他の提案されたアクションを実行前に確認してください。 一部の診断は追加のログや作業量の背景情報を必要とします。

Genie Code は何に役立ちますか?

分散トレーニングワークロードの開発

Genie CodeはAIランタイム用のトレーニングコードを生成または更新できます。 適切なPyTorch分散戦略の選択、serverless_gpuパッケージの@distributedAPIの使用、データ読み込み、チェックポイント、MLflowトラッキングのためのAIランタイムパターンの適用に役立ちます。 APIの詳細や例については、「 ノートブックにおける分散トレーニング」を参照してください。

環境や依存関係の問題を解決する

Genie Codeは現在の環境を検査し、パッケージ互換性の失敗とコードやAPIの変更を区別し、ターゲットを絞った修正を推奨します。 また、DatabricksのAI環境とStandard環境のどちらを選ぶか、ワークロードの依存関係に基づいて役立ちます。 利用可能な環境に関する情報は「 環境の設定」をご覧ください。

GPUと分散ワークロードのデバッグ

Genie Codeはノートブックの出力や利用可能なログを用いて、分散訓練の失敗、通信エラー、トレーニングのハング、GPUメモリの問題を調査できます。 これにより、元の故障を特定し、他のランクの下流エラーと区別することができます。 分散訓練ログの閲覧に関する情報は 「実験の追跡と観測可能性」をご覧ください。

プロンプトの例

分散トレーニングワークロードの開発

  • 「このノートブックを更新し、AIランタイムで8台すべてのH100 GPUで分散訓練を実行するように。」
  • 「この分散型トレーニングノートを見直し、 serverless_gpu とMLflowの使い方を修正してください。」
  • 「このトレーニングワークロードをAIランタイムに合わせて適応させ、重要な変更点を説明してください。」

環境や依存関係の問題を解決する

  • 「このノートは新しいパッケージをインストールした後、動かなくなった。 環境を調査し、問題が依存関係の問題かコードAPIの変更かを判断してください。」
  • 「このワークロードはDatabricks AIを使うべきか、それとも標準環境を使うべきか? 依存関係を確認し、何かを変更する前に環境を推奨してください。」
  • 「このパッケージ互換性エラーを診断し、最小限の適切な変更を推奨してください。」

GPUと分散ワークロードのデバッグ

  • 「すべてのランクの利用可能な出力を使ってこの失敗した分散訓練ランを分析し、根本原因を特定しろ。」
  • 「なぜこの分散型の作業量が宙ぶらりんになっているんだ? ノートの出力を使って次のデバッグステップを推奨してください。」
  • 「このGPUメモリ故障を調査し、証拠に基づく次のステップを提案してください。」

その他のリソース

  • Last updated on