Gérer les API de modèle (services de modèle)

Une API de modèle vous donne un accès gouverné à un grand modèle de langage. J’envoie une demande, on obtient une réponse, sans infrastructure pour faire fonctionner. Par défaut, chaque utilisateur de compte peut interroger les API de modèles fournies par le système dans le system.ai schéma sans aucune configuration. Ce sont des modèles de fondation servis nativement par Azure Databricks, facturés par jeton.

Sur Azure Databricks, une API modèle est un objet sécurisé Unity Catalog (un service modèle) qui représente un point de terminaison LLM gouverné. Parce que Unity Catalog le stocke, vous le définissez, partagez et régez l’accès centralement, avec vos données et au-delà des limites de l’espace de travail. Pour gouverner des modèles supplémentaires ou exposer un point de terminaison personnalisé, vous créez vos propres API de modèles.

Les API de modèles prennent en charge les éléments suivants :

• Modèles de fondation servis par Azure Databricks, en tant que services fournis par le système dans system.ai et en tant que services que vous créez. Les destinations pay-per-token et débit provisionné sont prises en charge.
• Création et gestion d’API de modèles avec l’interface Unity AI Gateway UI, Catalog Explorer et l’API REST de Unity Catalog.
• Requête des API de modèles à travers les espaces de travail, depuis l’intérieur comme l’extérieur d’Azure Databricks.

Qu’est-ce qu’un service de modèles ?

Un service de modèle réside dans un schéma Unity Catalog et référence une ou plusieurs destinations, avec un routage et un mécanisme de secours entre eux. Les appelants invoquent le service modèle par son nom entièrement qualifié, et la passerelle Unity AI Gateway aligne chaque requête vers une destination. Une destination peut être un modèle Azure Databricks ou un service de fournisseur modèle qui route vers un fournisseur externe, et un seul service modèle peut mélanger les deux.

Étant donné qu’un service de modèle est un objet sécurisable du catalogue Unity, il :

• Réside dans un catalogue et un schéma, dont il hérite des paramètres, tels que les liaisons d’espace de travail.
• Contient les métadonnées standard du catalogue Unity, telles que le nom, le propriétaire, le commentaire et les balises.
• Est régi par les privilèges du catalogue Unity. Vous accordez donc l’accès à l’aide des mêmes GRANT instructions que REVOKE celles que vous utilisez pour les tables, les fonctions et les modèles.
• Est détectable dans l’Explorateur de catalogues, en même temps que le reste de vos ressources de catalogue Unity.

Le même service de modèle apparaît également en tant que point de terminaison dans l’interface utilisateur unity AI Gateway, où les équipes IA peuvent configurer des fonctionnalités telles que des limites de débit, des tables d’inférence et des garde-fous. Pour plus d’informations sur ces fonctionnalités, consultez la gouvernance de l’IA avec Unity AI Gateway.

Pourquoi gouverner les LLM dans Unity Catalog ?

Les points de terminaison Unity AI Gateway créés dans un espace de travail sont limités à cet espace de travail. Pour partager un point de terminaison entre les espaces de travail, vous devez le dupliquer dans chaque espace de travail et gérer chaque copie séparément.

Les services de modèles intègrent la gouvernance à Unity Catalog, ce qui vous permet de :

• Définissez un point de terminaison LLM une fois et utilisez-le à partir de n’importe quel espace de travail attaché au même metastore.
• Régir l’accès de manière centralisée à l’aide des privilèges du catalogue Unity, au lieu des autorisations par espace de travail.
• Découvrez les modèles qui sont disponibles entre les espaces de travail à partir d’un emplacement unique.
• Suivez l’utilisation et le coût des services de modèle dans les tables système du catalogue Unity.
• Suivez la lignée pour voir les modèles qu’un service sert et les actifs en aval qui consomment ses charges utiles. Voir API du modèle de suivi et lignée des fournisseurs.

Services de modèle fournis par le système

Azure Databricks fournit un service de modèle prêt à l’emploi dans le system.ai schéma pour chaque modèle de fondation servi par Azure Databricks, tel que system.ai.claude-opus-5. Azure Databricks ajoute de nouveaux services de modèle système à mesure que de nouveaux modèles de base deviennent disponibles.

Les services de modèle fournis par le système présentent les caractéristiques suivantes :

• Par défaut, tous les utilisateurs de compte ont le EXECUTE privilège. Vous pouvez donc les interroger sans configuration supplémentaire.
• Un utilisateur système les possède et vous ne pouvez pas les supprimer.
• Par défaut, seuls les administrateurs de metastore peuvent les modifier. Un administrateur de metastore peut déléguer la gestion en accordant le MANAGE privilège.

Pour restreindre l’accès aux services de modèle fournis par le système, consultez régir les services de modèle.

Privilèges

Les services de modèles utilisent le modèle standard d’autorisations de Unity Catalog. Les privilèges suivants s’appliquent :

Les services de modèle utilisent les privilèges du définisseur. Azure Databricks évalue une requête selon les privilèges du propriétaire plutôt que ceux de l'appelant. Lorsqu’un utilisateur interroge un service de modèle, Azure Databricks vérifie que le propriétaire dispose de EXECUTE sur les destinations référencées, comme les modèles sous-jacents et tous les services de fournisseur de modèles. L’appelant n’a pas besoin d’un accès direct à ces destinations.

Limitations

Les capacités suivantes ne sont pas prises en charge :

• Créer et gérer des services de modèles avec SQL.
• Découverte des services de modèle avec uniquement le privilège BROWSE.
• Recherche mondiale de services de modèles.

Étapes suivantes

• Créer et gérer des services de modèle
• Services de modèle de requête
• Découvrir et gérer l’accès aux services de modèles
• Intégrer à des agents de codage
• API du modèle de suivi et lignée des fournisseurs