Gestionar proveedores externos de modelos (servicios de proveedores de modelos)

Los proveedores de modelos externos te permiten llevar tu propia clave (BYOK): conecta los proveedores de LLM que ya usas, como OpenAI, Anthropic o Amazon Bedrock, y gobróndelos a través de un único punto de control. Registre cada proveedor una sola vez, y muchos usuarios y API de modelos se redirigirán a él sin tener que administrar nunca las credenciales.

En Azure Databricks, un proveedor externo de modelos es un objeto seguro del Catálogo de Unity (un servicio de proveedor modelo) que almacena los detalles de conexión y las credenciales cifradas del proveedor. Como Unity Catalog almacena proveedores, gobiernas el acceso con los mismos privilegios que usas para los datos, consultas modelos externos a través de Unity AI Gateway sin exponer secretos y rastreas el uso y coste desde una única capa de gobernanza.

¿Qué es un servicio de proveedor de modelos?

Un servicio de proveedor de modelos reside en un catálogo y esquema de Unity Catalog y usa un nombre de tres partes, como main.default.openai_prod. Contiene:

• Tipo de proveedor (por ejemplo, OpenAI o Amazon Bedrock).
• Configuración de conexión para ese proveedor, como una dirección URL base de punto de conexión o una región de nube.
• Las credenciales del proveedor, que Azure Databricks cifran y almacenan. Azure Databricks no devuelve credenciales al leer. Para Azure OpenAI y Microsoft Foundry, puedes referenciar una credencial de servicio existente por nombre en lugar de almacenar una clave o secreto, y la credencial permanece donde está. Consulta Autenticar Azure OpenAI o Microsoft Foundry con credencial de servicio.

Como un servicio de proveedor de modelos es un objeto protegible de Unity Catalog, se administra de la misma forma que otros objetos gobernados:

• Concede y revoca el acceso mediante los privilegios de Unity Catalog.
• Descúbralo en Catalog Explorer junto con sus otros datos y recursos de IA.
• Configure características de Unity AI Gateway, como los límites de velocidad y las tablas de inferencia en ella.

Los autores de llamadas consultan un servicio de proveedor de modelos directamente a través de Unity AI Gateway haciendo referencia a su nombre y no ven las credenciales almacenadas. Un servicio proveedor de modelos también puede proporcionar el proveedor externo al que se dirige un servicio de modelos, ofreciendo a los administradores un único punto de control para gestionar las credenciales de los proveedores.

Proveedores compatibles

Un servicio de proveedor modelo solo soporta los siguientes proveedores externos y métodos de autenticación.

Cuando el punto de conexión de un proveedor personalizado espera su clave de API en un encabezado específico en lugar de como un token de portador, puede asignar un nombre a ese encabezado. Consulta Enviar una clave de API personalizada del proveedor en un encabezado.

¿Por qué gobernar proveedores externos en el catálogo de Unity?

Sin un registro central, todos los equipos que usan un modelo externo insertan sus propias credenciales de proveedor en el código de aplicación o los cuadernos. Los servicios del proveedor de modelos mueven esa configuración al catálogo de Unity para que pueda:

• Defina un proveedor una vez. Registrar las credenciales y los detalles de conexión en un solo lugar y, a continuación, permitir que muchos usuarios y servicios de modelos compartan esa información sin tener que acceder nunca al secreto.
• Gestiona el acceso mediante los privilegios de Unity Catalog. Utilice las mismas GRANT sentencias y REVOKE que utiliza para otros elementos protegibles para controlar quién puede consultar cada proveedor.
• Buscar en todas las áreas de trabajo. Un servicio de proveedor de modelos está disponible en cualquier área de trabajo que comparta su metastore.
• Realizar un seguimiento del uso y el costo. Unity AI Gateway registra el uso de las consultas que se envían a través de un servicio de un proveedor de modelos. Consulta el seguimiento del uso del modelo. Azure Databricks también calcula el gasto estimado para las solicitudes enrutadas a modelos externos. Consulte Modelos externos.
• Rastrea el linaje. Consulte los servicios de modelo que se redirigen a un proveedor y los activos posteriores que consumen sus cargas útiles. Consulta la API del modelo Track y el linaje de proveedores.

Privileges

Los siguientes privilegios del catálogo de Unity se aplican a los servicios del proveedor de modelos. Una entidad de seguridad también necesita USE CATALOG y USE SCHEMA en el catálogo y el esquema primarios.

Para saber cómo conceder y revocar estos privilegios, consulte Descubrir y regular el acceso a proveedores modelo externos (servicios de proveedor modelo).

Haz seguimiento del gasto en servicios de proveedores de modelos en los presupuestos

Para incluir el gasto estimado en servicios del proveedor de modelos en un presupuesto de Unity AI Gateway, seleccione Incluir uso externo de modelos al crear el presupuesto. El gasto externo del modelo se tiene en cuenta entonces para los umbrales de alerta y bloqueo de uso del presupuesto.

Para más información sobre el gasto estimado en modelos externos, véase Modelos externos.

Pasos siguientes

• Crear y gestionar proveedores modelo externos (servicios de proveedor modelo)
• Consulta a proveedores de modelos externos (servicios de proveedores de modelo)
• Descubre y regula el acceso a proveedores modelo externos (servicios de proveedores modelo)
• Uso del modelo de vía
• Analizar el coste de Unity AI Gateway
• API de modelo de seguimiento y linaje de proveedores