Gérer les fournisseurs de modèles externes (services de fournisseurs de modèles)

Les fournisseurs de modèles externes vous permettent d’apporter votre propre clé (BYOK) : connectez les fournisseurs de LLM que vous utilisez déjà, tels qu’OpenAI, Anthropic ou Amazon Bedrock, et gouvernez-les via un point de contrôle. Enregistrez chaque fournisseur une seule fois, et de nombreux utilisateurs ainsi que des API de modèles sont ensuite redirigés vers celui-ci sans jamais avoir à gérer les identifiants.

Sur Azure Databricks, un fournisseur de modèles externe est un objet sécurisé Unity Catalog (un service de fournisseur de modèles) qui stocke les détails de connexion et les identifiants chiffrés d'un fournisseur. Parce que Unity Catalog stocke les fournisseurs, vous gérez l’accès avec les mêmes privilèges que pour les données, interrogez des modèles externes via Unity Gateway sans exposer de secrets, et suivez l’utilisation et le coût à partir d’une seule couche de gouvernance.

Qu’est-ce qu’un service de fournisseur de modèles ?

Un service fournisseur de modèles réside dans un catalogue et un schéma de catalogue Unity et utilise un nom en trois parties, tel que main.default.openai_prod. Elle contient :

• Type de fournisseur (par exemple, OpenAI ou Amazon Bedrock).
• Configuration de la connexion pour ce fournisseur, telle qu’une URL de base de point de terminaison ou une région cloud.
• Informations d’identification du fournisseur, qui Azure Databricks chiffre et stocke. Azure Databricks ne retourne pas d’informations d’identification en lecture. Pour Azure OpenAI et Microsoft Foundry, vous pouvez référencer un identifiant de service existant par son nom au lieu de stocker une clé ou un secret, et le certificat reste là où il est. Voir Authentifier Azure OpenAI ou Microsoft Foundry avec une certification de service.

Étant donné qu’un service fournisseur de modèles est un catalogue Unity sécurisable, vous le gérez de la même façon que vous gérez d’autres objets régis :

• Accordez et révoquez l’accès à l’aide des privilèges Unity Catalog.
• Découvrez-le dans l’Explorateur de catalogues en même temps que vos autres données et ressources IA.
• Configurez des fonctionnalités de la passerelle Unity telles que les limites de débit et les tables d’inférence dessus.

Les appelants interrogent un service fournisseur modèle directement via Unity Gateway en référant son nom, et ils ne voient pas les identifiants stockés. Un service de fournisseur de modèles peut également définir le fournisseur externe vers lequel un service de modèle est routé, offrant ainsi aux administrateurs un point de contrôle unique et gouverné pour les informations d’identification du fournisseur.

Fournisseurs pris en charge

Un service de fournisseur modèle ne prend en charge que les fournisseurs externes et les méthodes d’authentification suivants.

Lorsque le point de terminaison d’un fournisseur personnalisé attend sa clé API dans un en-tête spécifique plutôt que sous forme de jeton du porteur, vous pouvez indiquer le nom de cet en-tête. Voir Envoyer une clé API de fournisseur personnalisée dans un en-tête.

Pourquoi régir les fournisseurs externes dans le catalogue Unity ?

Sans registre central, chaque équipe qui utilise un modèle externe incorpore ses propres informations d’identification de fournisseur dans le code d’application ou les notebooks. Les services de fournisseur de modèles déplacent cette configuration dans le catalogue Unity afin de pouvoir :

• Définissez un fournisseur une seule fois. Enregistrez les informations d’identification et les détails de connexion en un seul endroit, puis laissez de nombreux utilisateurs et services de modèles les partager sans jamais avoir à manipuler le secret.
• Contrôlez l’accès avec les privilèges Unity Catalog. Utilisez les mêmes GRANT instructions que REVOKE celles que vous utilisez pour d’autres éléments sécurisables pour régir qui peut interroger chaque fournisseur.
• Effectuez une requête dans plusieurs espaces de travail. Un service de fournisseur de modèles est disponible dans n’importe quel espace de travail qui partage son metastore.
• Suivez l’utilisation et le coût. Unity Gateway enregistre l’utilisation des requêtes qui passent par un service de fournisseur modèle. Consultez Suivre l’utilisation du modèle. Azure Databricks calcule également les dépenses estimées pour les requêtes routées vers des modèles externes. Consultez les modèles externes.
• Suivre la traçabilité. Voyez les services modèles qui acheminent vers un fournisseur et les actifs en aval qui consomment ses charges utiles. Voir API du modèle de suivi et lignée des fournisseurs.

Privilèges

Les privilèges de catalogue Unity suivants s’appliquent aux services du fournisseur de modèles. Un principal a également besoin de USE CATALOG et de USE SCHEMA sur le catalogue parent et le schéma parent.

Pour savoir comment accorder et révoquer ces privilèges, voir Découvrir et régir l’accès aux fournisseurs modèles externes (services fournisseurs modèles).

Suivre les dépenses liées aux services des fournisseurs de modèles dans les budgets

Pour inclure la dépense estimée des fournisseurs de modèles dans un budget Unity Gateway, sélectionnez Inclure l’utilisation externe du modèle lors de la création du budget. Les dépenses liées aux modèles externes sont alors prises en compte dans les seuils d’alerte et de blocage de l’utilisation du budget.

Pour plus d’informations sur la dépense estimée des modèles externes, voir Modèles externes.

Étapes suivantes

• Créer et gérer des fournisseurs modèles externes (services modèles de fournisseurs)
• Interroger des fournisseurs de modèles externes (services de fournisseurs de modèles)
• Découvrir et régir l’accès aux fournisseurs modèles externes (services de fournisseurs modèles)
• Suivre l’utilisation du modèle
• Analyser le coût de la passerelle Unity
• API du modèle de suivi et lignée des fournisseurs