Administración de los puntos de conexión de servicio de modelos (heredada)

Important

Una nueva experiencia de Unity Gateway ya está disponible de forma general. Es el plano de control empresarial para gobernar endpoints LLM y agentes de codificación con funciones mejoradas. Consulta la gobernanza de la IA con Unity Gateway.

Esta página describe AI Gateway (legacy) para endpoints de servicio, que gobierna y supervisa el acceso a modelos de IA compatibles y sus endpoints de servicio de modelos asociados.

¿Qué es AI Gateway (legacy) para servir a endpoints?

AI Gateway (legacy) está diseñado para agilizar el uso y la gestión de modelos y agentes de IA dentro de una organización. Es un servicio centralizado que aporta la gobernanza, la supervisión y la preparación de producción para modelar los puntos de conexión de servicio. También le permite ejecutar, proteger y controlar el tráfico de inteligencia artificial para democratizar y acelerar la adopción de la inteligencia artificial para su organización.

Todos los datos se registran en tablas delta en Unity Catalog.

Para empezar a visualizar información a partir de los datos de AI Gateway, descargue el panel de AI Gateway de ejemplo desde GitHub. Este panel aprovecha los datos de las tablas de inferencia de registro de carga y seguimiento de uso.

Después de descargar el archivo JSON, importe el panel en el área de trabajo. Para obtener instrucciones sobre cómo importar paneles, consulte Importar un archivo de panel.

Características admitidas

Important

El nuevo Unity Gateway cuenta con una interfaz de usuario avanzada, una mejor observabilidad y una mayor cobertura de API para LLM, incluidos modelos externos y API de modelos fundacionales de pago por token. Recomendamos usar Unity Gateway para desbloquear estas nuevas capacidades.

La siguiente tabla define las características disponibles de AI Gateway (legacy) y qué tipos de endpoints de servicio de modelos las admiten.

Característica Definición Punto de conexión externo del modelo Punto de conexión de pago por token de las API de Foundation Model Punto de conexión de rendimiento aprovisionado de las API de Foundation Model Agentes de Databricks Punto de conexión del modelo personalizado
Disponible en Unity Gateway Utiliza funciones mejoradas de Unity Gateway. Consulta la gobernanza de la IA con Unity Gateway. Soportado Soportado No está soportado No está soportado No está soportado
Limitación de permisos y tarifas Controla quién tiene acceso y el nivel de dicho acceso. Soportado Soportado Soportado No está soportado Soportado
Registro de carga Supervisa y audita los datos que se envían a las API de modelo mediante tablas de inferencia. Soportado Soportado Soportado Soportado Soportado
Seguimiento de uso Supervisa el uso operativo en los puntos de conexión y los costos asociados mediante las tablas del sistema. Soportado Soportado Soportado No está soportado Soportado
Límites de protección de IA Evitar datos no deseados y no seguros en solicitudes y respuestas. Consulte Límites de protección de IA. Soportado Soportado Soportado No está soportado No está soportado
Fallbacks Minimiza las interrupciones de producción durante la implementación y después de esta. Soportado No está soportado No está soportado No está soportado No está soportado
División del tráfico Equilibrio de carga del tráfico entre modelos. Soportado No está soportado Soportado No está soportado Soportado

AI Gateway (legacy) genera cargos por cada funcionalidad habilitada. Las funciones de pago incluyen tablas de inferencia y seguimiento de uso. Las características como los permisos de consulta, la limitación de velocidad, las alternativas y la división de tráfico son gratuitas. Las nuevas características están sujetas a cargos.

Límites de protección de IA

Important

Esta característica está en versión preliminar pública.

Los límites de protección de IA permiten a los usuarios configurar y aplicar el cumplimiento de los datos en el nivel de modelo de puntos de conexión de servicio y reducir el contenido dañino en las solicitudes enviadas al modelo subyacente. Las solicitudes y respuestas incorrectas se bloquean y se devuelve un mensaje predeterminado al usuario. Consulte cómo configurar límites de protección en un modelo de puntos de conexión de servicio.

Important

El servicio de moderación AI Guardrails tiene una dependencia de los modelos de pago por token de las APIs de Foundation Model. Esta dependencia limita la disponibilidad del servicio de moderación AI Guardrails a las regiones que admiten las API de Modelo Fundamental de pago por token.

En la tabla siguiente se resumen los límites de protección configurables. Consulte limitaciones de .

Guardrail Definición
Filtrado de seguridad El filtrado de seguridad impide que el modelo interactúe con contenido no seguro y dañino, como el crimen violento, autolesiones y el lenguaje inflamatorio.
El filtro de seguridad de AI Gateway se crea con Meta Llama 3. Databricks usa Llama Guard 2-8b como filtro de seguridad. Para obtener más información sobre el filtro de seguridad Llama Guard y los temas que se aplican al filtro de seguridad, consulte la tarjeta del modelo Meta Llama Guard 2 8B.
Llama 3 tiene se licencia bajo LLAMA 3 Community License, Copyright © Meta Platforms, Inc. Todos los derechos reservados. Los clientes son responsables de garantizar el cumplimiento de las licencias de modelo aplicables.
Detección de información de identificación personal Los clientes pueden detectar cualquier información confidencial, como números de tarjeta de crédito para los usuarios.
Para esta característica, AI Gateway usa Presidio para detectar las siguientes categorías de PII de Estados Unidos: números de tarjeta de crédito, direcciones de correo electrónico, números de teléfono, números de cuenta bancaria y números de seguridad social.
El clasificador de PII puede ayudar a identificar información confidencial o PII en datos estructurados y no estructurados. Sin embargo, dado que usa mecanismos de detección automatizados, no hay ninguna garantía de que el servicio encuentre toda la información confidencial. Por consiguiente, deben emplearse sistemas y protecciones adicionales.
Estos métodos de clasificación se limitan principalmente a las categorías de PII de EE. UU., como los números de teléfono de EE. UU. y los números de seguridad social.

Usa AI Gateway (legacy)

Puedes configurar funciones de AI Gateway (heredado) en tus endpoints de serving de modelos usando la IU de Serving. Consulta Configurar gobernanza en los endpoints de servicio del modelo (legado).

Limitaciones

Las siguientes son limitaciones para endpoints con AI Gateway (legacy) habilitado:

  • Cuando se utilizan barreras de seguridad de IA, el tamaño de lote de la solicitud, ya sea un tamaño de lote de incrustaciones, un tamaño de lote de finalizaciones o el parámetro n en las solicitudes de chat, no puede superar los 16.
  • Si utiliza la función que llama a y especifica barreras de protección de la IA, esas barreras no se aplican a las solicitudes ni a las respuestas intermedias de la función. Sin embargo, los límites de protección se aplican a la respuesta final de la salida.
  • No se admiten cargas de trabajo de texto a imagen.
  • Solo se soporta el seguimiento de uso para cargas de trabajo de inferencia por lotes en endpoints de pago por token que tengan activadas funciones de AI Gateway (legacy). En la tabla del endpoint_usage sistema solo están visibles las filas correspondientes a la solicitud de inferencia por lotes.
  • No se admiten límites de protección y reserva de IA en puntos de conexión de servicio de modelos personalizados.
  • En el caso de los puntos de conexión de servicio de modelos personalizados, solo las cargas de trabajo que no están optimizadas para rutas admiten la limitación de velocidad y el seguimiento del uso.
  • Las tablas de inferencia para los endpoints de servicio de modelos optimizados por ruta están en versión preliminar pública.
  • Consulta las limitaciones de las tablas de inferencia habilitadas por AI Gateway (legacy) para detalles sobre las limitaciones de las tablas de inferencia.
  • Se actualizó por última vez el