Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Note
Cette page décrit le flux de travail de service modèle basé sur les terminaux hérités. Pour trouver et interroger des modèles via Unity Gateway, consultez les modèles disponibles et les services de requête de modèles.
Accéder aux modèles de base hébergés en dehors de Databricks
Les modèles de base créés par des fournisseurs LLM, tels que OpenAI et Anthropic, sont également accessibles sur Databricks à l’aide de modèles externes. Ces modèles sont hébergés en dehors de Databricks et vous pouvez créer un point de terminaison pour les interroger. Ces points de terminaison peuvent être régis de manière centralisée à partir d’Azure Databricks, ce qui simplifie l’utilisation et la gestion de différents fournisseurs LLM au sein de votre organisation.
Le tableau suivant présente une liste non exhaustive des modèles pris en charge et des types de points de terminaison correspondants. Vous pouvez utiliser les associations de modèles listées pour vous aider à configurer un point de terminaison pour tous les nouveaux types de modèles publiés au fur et à mesure qu’ils deviennent disponibles auprès d’un fournisseur donné. Les clients sont tenus de veiller à la conformité aux licences de modèle applicables.
Note
En raison du développement rapide des grands modèles de langage (LLM), aucune garantie ne peut être donnée quant au fait que cette liste soit à jour. Les nouvelles versions de modèle du même fournisseur sont généralement prises en charge même si elles ne figurent pas dans la liste.
| Fournisseur du modèle | llm/v1/completions | llm/v1/chat | llm/v1/embeddings |
|---|---|---|---|
| OpenAI** |
|
|
|
| Azure OpenAI** |
|
|
|
| Anthropic |
|
|
|
| Cohere** |
|
|
|
| Utilisation de modèles | Point de terminaison de service Databricks | Point de terminaison de service Databricks | Point de terminaison de service Databricks |
| Substrat rocheux amazonien | Anthropic :
Cohere :
Laboratoires AI21 :
|
Anthropic :
Cohere :
Amazone:
|
Amazone:
Cohere :
|
Laboratoires AI21† |
|
||
| Google Cloud Vertex AI | text-bison |
|
|
** Le fournisseur de modèles prend en charge les modèles de saisie semi-automatique et de conversation ajustés. Pour interroger un modèle affiné, renseignez le champ name de la configuration external model avec le nom de votre modèle affiné.
† Le fournisseur de modèles prend en charge les modèles d’achèvement personnalisés.
Créer des points de terminaison de mise en service de modèles de base
Pour interroger et utiliser des modèles de base dans vos applications IA, vous devez d’abord créer un point de terminaison de service de modèle. Model Service utilise une API unifiée et une interface utilisateur pour créer et mettre à jour des points de terminaison de service de modèle de base.
- Pour créer un point de terminaison qui sert des variantes affinées de modèles de base mis à disposition à l’aide du débit provisionné des API Foundation Model, consultez Créer votre point de terminaison de débit approvisionné à l’aide de l’API REST.
- Pour créer des points de terminaison de service qui accèdent aux modèles de base mis à disposition avec l’offre de modèles externes, consultez Créer un point de terminaison de mise en service de modèle externe.
Interroger les points de terminaison de service des modèles de base
Après avoir créé votre point de terminaison de service, vous pouvez interroger votre modèle de base. Model Service utilise une API et un SDK compatibles OpenAI unifiés pour interroger des modèles de base. Cette expérience unifiée simplifie l’expérience et la personnalisation des modèles de base pour la production dans les clouds et fournisseurs pris en charge.
Consultez Utiliser des modèles de base.