サーバーレスコンピューティングまたはマネージド コンピューティングを使用して、Microsoft Foundry ポータルで微調整されたモデルをデプロイします。 デプロイの準備ができている微調整されたモデルから始めます。
デプロイの比較、モデルの互換性、成果物の要件については、 微調整の概要 と サポートされているモデルの表を参照してください。
Prerequisites
- Foundry で使用できる微調整済みモデルと、そのモデル識別子およびバージョン。
- 選択した配置オプションをサポートする Foundry プロジェクト 。
-
Foundry 所有者ロール、またはターゲット リソースに対する
Microsoft.CognitiveServices/accounts/deployments/writeを持つロール。 この例に記載されている追加のプロバイダー設定を完了してください。 - サポートされているリージョンでの十分なデプロイ クォータまたはアクセラレータ容量。 モデルの利用可能状況を確認してください。
サーバーレスでデプロイ
サーバーレスと互換性のある微調整されたモデルをデプロイします。 モデルでサポートされているデプロイの種類については、微調整の概要を確認してください。
- Foundry ポータルを開き、プロジェクトを選択します。
- 完了した微調整ジョブの詳細ビューを開き、デプロイ を選択します。
- [サーバーレス] を選択します。
- デプロイの名前を入力してください。
- 要件に基づいて使用可能な デプロイの種類 を選択し、使用可能なクォータ内で容量を構成します。
- デプロイを作成し、[ Models ] ページでその進行状況を監視します。
デプロイが完了したら、 Foundry プレイグラウンド を開き、モデルをテストします。
Managed Compute アダプターを使用したデプロイ (プレビュー)
Important
この記事でプレビューとしてマークされているアイテムは、現在プレビュー段階です。 このプレビューはサービス レベル アグリーメント(SLA)なしで提供されており、Microsoft はこれを運用ワークロードでの使用に推奨していません。 特定の機能がサポートされていないか、機能が制限されている可能性があります。 詳細については、「 Microsoft Azure プレビューの追加使用条件」を参照してください。
マネージド コンピューティングを使用して、互換性のある微調整されたモデルをデプロイします。 互換性と展開のオプションについては、 微調整の概要を参照してください。
始める前の準備
- 基本モデルとバージョンに一致する微調整されたアダプターを用意してください。
- LoRA 対応のデプロイ テンプレートを使用する基本デプロイを用意します。 作成する必要がある場合は、「Managed Compute を使用してオープンソース モデルをデプロイする」を参照してください。
- マネージド コンピューティングの権限とクォータの設定を完了させます。
ポータルでのデプロイ
- Foundry ポータルでプロジェクトを開きます。
- 完了した微調整ジョブの詳細ビューを開き、デプロイ を選択します。
- [マネージド コンピューティング] を選択します。
- デプロイの名前を入力してください。
- 互換性のあるベース デプロイメントを選択してください。
- 構成を確認し、デプロイを選択してください。
- デプロイが完了するまで待ちます。
デプロイが完了したら、 Foundry プレイグラウンド を開き、モデルをテストします。
デプロイされた微調整されたモデルを使用する
Foundry プレイグラウンドで、タスクに適したプロンプトを使ってデプロイをテストします。
- Foundry プロジェクトで プレイグラウンド を開きます。
- 基本モデルのデプロイではなく、作成した微調整されたデプロイを選択します。
- テスト プロンプトを送信し、モデルから応答が返されることを確認します。
反復可能な評価については、「Foundry ポータルから評価を実行する」または「Microsoft Foundry SDK を使用したクラウド評価」を参照してください。 候補を比較するには、「評価結果を表示」を参照してください。
デプロイをクリーンアップする
不要になったら、サービング デプロイメントを削除してください。
- Foundry ポータルで モデル ページを開き、デプロイを見つけます。
- 作成したデプロイを選択します。
- [ 削除] を選択し、削除を確認します。
この例で作成したサービス リソースのみを削除してください。