Important
この機能は パブリック プレビュー段階です。
AI ランタイムは、 ディープ ラーニング ワークロードを対象とした Databricks のコンピューティング オファリングであり、Databricks サーバーレスの GPU サポートを提供します。 AI ランタイムを使用して、お気に入りのフレームワークを使用してカスタム モデルをトレーニングおよび微調整し、最先端の効率、パフォーマンス、品質を得ることができます。 サーバーレス コンピューティングが Databricks アーキテクチャにどのように適合するかの概要については、「サーバーレス ワークスペースアーキテクチャ」を参照してください。
主要な機能
- フル マネージド GPU インフラストラクチャ: サーバーレスで柔軟に GPU にアクセスでき、管理するクラスター構成、ドライバーの選択、自動スケール ポリシーはありません。
- ディープ ラーニング専用のランタイム: 依存関係に対する柔軟性を最大限に高めるために最小限の Standard 環境を選択するか、一般的な ML フレームワークで事前に読み込まれたフル機能の AI 環境を選択します。
- ノートブック、ジョブ、Unity カタログ、MLflow にネイティブに統合され、シームレスな開発、データ アクセス、実験追跡を実現します。
- コンプライアンスのサポート: ほとんどのコンプライアンス標準をサポートします。 サポートされている標準と例外については、 コンプライアンス セキュリティ プロファイルを参照してください。
-
ウェブ端末アクセス:シェルコマンドを実行し、
nvidia-smiでGPU使用状況を監視し、サーバーレスGPU環境バージョン5以上に接続した場合、コンピュート上で直接ファイルを管理できます。 「Azure Databricks Web ターミナルでシェル コマンドを実行する」を参照してください。
ハードウェア オプション
すべての AI ランタイム アクセラレータは、1 つのノードをプロビジョニングします。 そのノード上の GPU の数は、アクセラレータの種類によって異なります。
| アクセラレータ | ノードあたりの GPU 数 | GPU メモリ | 最適な用途 | 分散トレーニング |
|---|---|---|---|---|
| 1xA10 | 1 | 24GB | 小規模から中規模の ML と、従来の ML モデルや小さな言語モデルの微調整などのディープ ラーニング タスク | サポートされていません (単一 GPU) |
| 1xH100 | 1 | 80GB | 1xA10 より多くの GPU メモリを必要とするワークロードでは、中サイズの言語モデルの微調整など、マルチ GPU 分散トレーニングは必要ありません | サポートされていません (単一 GPU) |
| 8xH100 | 8 | GPU あたり 80 GB | 大規模なモデルのトレーニングや微調整、高度なディープ ラーニング タスクの実行など、大規模な AI ワークロード |
@distributed での gpus=8 デコレーターの使用をサポート |
推奨されるユース ケース
Databricks では、ディープ ラーニング、大規模なクラシック ワークロード、または GPU を含むカスタム モデル トレーニングのユース ケースに対して AI ランタイムが推奨されます。
例えば次が挙げられます。
- LLM の微調整 (LoRA、QLoRA、完全な微調整)
- コンピューター ビジョン (物体検出、画像分類)
- ディープ ラーニング ベースのレコメンダー システム
- 強化学習
- ディープ ラーニングベースの時系列予測
必要条件
- 次のAzureサポートされているリージョンのいずれかのワークスペース。
centraluseastuseastus2northcentraluswestcentraluswestuswestus3
制限事項
- AI ランタイムでは、A10 アクセラレータと H100 アクセラレータのみがサポートされます。
- AI ランタイムは、FedRAMP High または DoD IL5 標準の コンプライアンス セキュリティ プロファイル をサポートしていません。 その他すべてのコンプライアンス標準がサポートされています。
- [ 環境 ] パネルを使用した依存関係の追加は、AI ランタイムのスケジュールされたジョブではサポートされていません。 代わりに、ノートブックで
%pip installを使用してプログラムで依存関係をインストールします。 - AI ランタイムでスケジュールされたジョブの場合、ノートブックに関連付けられている互換性のないパッケージ バージョンの自動回復動作はサポートされていません。
- ワークロードの最大実行時間は 7 日間です。 この制限を超えるモデル トレーニング ジョブの場合は、チェックポイント処理を実装し、最大ランタイムに達したらジョブを再起動します。
- AI ランタイムは、GPU リソースへのオンデマンド アクセスを提供します。 これにより、GPU への簡単で柔軟なアクセスが可能になりますが、リージョンで容量が制限されたり使用できなくなったりする場合があります。
- AI ランタイムは、需要が高い時間帯にリージョン間 GPU を利用します。 このような使用に関連するエグレス コストが発生する可能性があり、リージョン間ネットワーク接続が特定の時間に制限される場合があります。
AI ランタイムに接続する
ノートブック、SSH トンネル、スケジュールされたジョブ、ジョブ API、宣言型オートメーション バンドルを使用して IDE ターミナルから対話形式で AI ランタイムに接続できます。 詳細な手順については、「 AI ランタイムへの接続」を参照してください。
環境を設定する
AI ランタイムは、2 つのマネージド Python環境を提供します。最小限の Standard 環境と、PyTorch や Transformers などの一般的な ML フレームワークが事前に読み込まれているフル機能の Databricks AI 環境です。 環境の選択、キャッシュ動作、カスタム モジュールのインポート、既知の制限事項の詳細については、「 環境の設定」を参照してください。
AI ランタイムにデータを読み込む
スムーズなエクスペリエンスを実現するには、AI ランタイムでのデータ アクセスのしくみを理解することが不可欠です。 詳細については、「 AI ランタイムにデータを読み込む」を参照してください。
分散トレーニング
AI ランタイムは、ノートブックが接続されている単一ノード上の複数の GPU 間で分散トレーニングをサポートします。
@distributed Python API の serverless_gpu デコレータを使用すると、PyTorch DDP、FSDP、または DeepSpeed を使用して、最小限の構成でマルチ GPU ワークロードを起動できます。 詳細については、「 ノートブックでの分散トレーニング」を参照してください。
AIランタイム上のレイ
AIランタイムは、Ray Core、Ray Data、Ray Train、Ray Tuneなどの分散GPUワークロード向けにRayをサポートしています。 クラスタ環境なしで、サーバーレスGPUコンピュート上でシングルノードおよびマルチノードのRayジョブを実行できます。 詳細や例については、 Ray on AI Runtimeを参照してください。
実験の追跡と可観測性
MLflow の統合、ログの表示、モデルのチェックポイント管理については、「 実験の追跡と監視」を参照してください。
ディープ ラーニングのための Genie Code
Genie CodeはAIランタイム上のディープラーニングワークロードの開発やトラブルシューティングを支援できます。 分散型トレーニングコードの生成、環境や依存関係の問題の解決、GPUおよび分散ワークロードの障害の調査が可能です。 「 Use Genie Code with AI Runtime」を参照してください。
Guides
クラシック ワークロードからの移行、ノートブックの例、トラブルシューティングについては、 AI ランタイムのユーザー ガイドを参照してください。