Note
このページでは、レガシーのエンドポイントベースのモデルサービングワークフローについて説明します。 Unity Gatewayを通じてモデルを探しクエリするには、 利用可能なモデル や クエリモデルサービスをご覧ください。
Databricks の外部でホストされている Access 基盤モデル
OpenAI や Anthropic などの LLM プロバイダーによって作成された基礎モデルは、外部モデルを使用して Databricks でもアクセスできます。 これらのモデルは Databricks の外部でホストされており、クエリを実行するエンドポイントを作成できます。 これらのエンドポイントは、Azure Databricks から一元的に管理できます。これにより、組織内のさまざまな LLM プロバイダーの使用と管理が合理化されます。
次の表に、サポートされているモデルと、対応する エンドポイントの種類の一覧を示します。 リストに記載されたモデル関連を利用して、特定のプロバイダーで新たにリリースされたモデルタイプに対してエンドポイントを設定するのに役立ちます。 お客様は、該当するモデル ライセンスへのコンプライアンスを確保する責任を負います。
Note
LLM の急速な開発により、このリストが常に最新であるという保証はありません。 一覧にない場合でも、通常、同じプロバイダーの新しいモデル バージョンがサポートされます。
| モデルプロバイダー | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Model Serving | Databricks サービス エンドポイント | Databricks サービス エンドポイント | Databricks サービス エンドポイント |
| アマゾン・ベッドロック | Anthropic:
Cohere:
AI21 ラボ:
|
Anthropic:
Cohere:
アマゾン：
|
アマゾン：
Cohere:
|
AI21 ラボ† |
|
||
| Google Cloud Vertex AI | text-bison |
|
|
** モデル プロバイダーでは、微調整された完了モデルとチャット モデルがサポートされます。 微調整されたモデルのクエリを実行するには、name 構成の external model フィールドに、微調整されたモデルの名前を設定します。
† モデル プロバイダーでは、カスタム補完モデルがサポートされています。
エンドポイントを提供する基盤モデルを作成する
AI アプリケーションで基礎モデルのクエリを実行して使用するには、まず、エンドポイントを提供するモデルを作成する必要があります。 Model Serving では、統合 API と UI を使用して、エンドポイントを提供する基盤モデルを作成および更新します。
- Foundation Model API のプロビジョニング済みスループットを使用して使用可能になった基盤モデルの微調整されたバリエーションを提供するエンドポイントを作成するには、「REST APIを使用してプロビジョニング済みスループット エンドポイントを作成する」を参照してください。
- 外部モデル オファリングを使用して利用できる基盤モデルにアクセスするサービス エンドポイントの作成については、「エンドポイントを提供する外部モデルを作成する」を参照してください。
エンドポイントを提供するクエリ基盤モデル
サービス エンドポイントを作成したら、基盤モデルに対してクエリを実行できます。 Model Serving では、統合された OpenAI と互換性のある API と SDK を使用して、基盤モデルのクエリを実行します。 この統合されたエクスペリエンスにより、サポートされているクラウドとプロバイダー全体で運用用の基盤モデルを試してカスタマイズする方法が簡略化されます。
基礎モデルの使用を参照してください。