Cuotas y límites de los modelos de Foundry de Microsoft

En este artículo se proporciona una referencia rápida y una descripción detallada de las cuotas y límites de Foundry Models vendidos por Azure. Para ver cuotas y límites específicos de la Azure OpenAI en Foundry Models, consulte Quotas y límites en Azure OpenAI.

Administración de cuotas a nivel de suscripción

A partir de Realtime Translate y Realtime Transcribe, y pronto todos los modelos, Foundry realiza un seguimiento de la cuota de las implementaciones en el nivel de suscripción en lugar de por recurso o región. Este enfoque aporta coherencia y previsibilidad a la forma en que se administra la cuota entre implementaciones, ya que todos los recursos y regiones de una suscripción comparten el mismo grupo de cuotas.

Este cambio consolida la cuota en grupos compartidos:

• Estándar global: las implementaciones del mismo modelo y versión comparten un grupo de cuotas en todas las regiones de una suscripción.
• Estándar de zona de datos: las implementaciones del mismo modelo y versión comparten un grupo de cuotas por zona de datos (por ejemplo, EE. UU. o UE).

Comprobación del ámbito de administración de cuotas

Para encontrar el sistema de administración de cuotas que se aplica a un modelo determinado, vaya a la página Cuota del portal de Foundry. El valor de la columna Ámbito de un modelo determinado indica cómo Foundry administra la cuota de ese modelo. Un valor de Ámbito de:

• Global o Zona de datos indica la gestión de cuotas a nivel de suscripción.
• Una región (por ejemplo, Este de EE. UU. o Oeste de EE. UU.), indica la administración de cuotas por región para esa suscripción y modelo.

Cambios en los modelos integrados

Para los modelos que están integrados en el sistema de gestión de cuotas a nivel de suscripción:

• Todas las implementaciones estándar globales del mismo modelo y versión bajo una suscripción ahora utilizan un único grupo de cuotas compartidas entre todas las regiones.
• Todas las implementaciones de Data Zone Standard del mismo modelo y versión en una suscripción ahora se extraen de un grupo de cuotas compartido en cada zona de datos.
• La cuota aprobada existente se conserva y se aplica automáticamente en el nivel de suscripción; no se requiere ninguna acción.

Esta consolidación permite que Microsoft Foundry ofrezca modelos admitidos de forma coherente en todas las regiones de Foundry, independientemente de cómo se distribuya la cuota entre recursos o regiones.

Límites de cuota cuando se actualiza un modelo

Cuando se actualiza un modelo existente, su nuevo límite de cuota global o de zona de datos se establece en el mayor de:

• Límite de nivel aplicable.
• Cuota total asignada a todas las implementaciones existentes de ese modelo dentro del ámbito de cuota.

Por ejemplo, si un modelo tiene implementaciones estándar globales en cinco regiones, el nuevo límite de cuota global equivale a la cuota combinada de esas implementaciones si ese total supera el límite de niveles. De lo contrario, se aplica el límite de niveles.

Referencia sobre cuotas y límites

En las secciones siguientes se proporciona una guía rápida sobre las cuotas y límites predeterminados que se aplican a foundry Models. Las cuotas y los límites no se aplican en el nivel de inquilino. En su lugar, el nivel más alto de restricciones de cuota se limita al nivel de suscripción de Azure. Los tokens por minuto (TPM) y las solicitudes por minuto (RPM) se definen por región, por suscripción y por modelo o tipo de implementación.

Límites de recursos (por suscripción Azure, por región)

Límites de velocidad

En la tabla siguiente se enumeran los límites de Foundry Models para las siguientes tasas.

• Tokens por minuto
• Solicitudes por minuto
• Solicitud simultánea

Para aumentar la cuota, utilice Microsoft Foundry Service: Solicitud de aumento de cuota para enviar su solicitud. Debido a la alta demanda, las solicitudes para aumentar la cuota se evalúan individualmente. Para obtener más información sobre las solicitudes de aumento de cuota, consulte Aumentos de solicitudes a los límites predeterminados.

Otros límites

¹ Las API actuales permiten hasta 10 encabezados personalizados, que el proceso de trabajo transmite y devuelve. Si supera este recuento de encabezados, la solicitud genera un error HTTP 431. Para resolver este error, reduzca el volumen de encabezado. Las versiones futuras de api no pasarán por encabezados personalizados. No dependa de encabezados personalizados en futuras arquitecturas del sistema.

Niveles de uso

Las implementaciones estándar globales usan la infraestructura global de Azure para enrutar dinámicamente el tráfico de los clientes al centro de datos con la mejor disponibilidad para las solicitudes de inferencia del cliente. Esta infraestructura permite una latencia más coherente para los clientes con niveles bajos a medio de tráfico. Los clientes con altos niveles de uso sostenidos podrían ver más variabilidades en la latencia de respuesta.

El límite de uso determina el nivel de uso más allá del cual los clientes podrían ver una mayor variabilidad en la latencia de respuesta. El uso de un cliente se define por modelo y es el total de tokens consumidos en todas las implementaciones de todas las suscripciones de todas las regiones de un inquilino determinado.

Solicitar aumentos a los límites predeterminados

Envíe el formulario de solicitud de aumento de cuota para solicitar aumentos de cuota para Foundry Models comercializados por Azure, modelos de Azure OpenAI y modelos de Anthropic. A excepción de los modelos de Anthropic, los modelos de socios y de la comunidad no admiten aumentos de cuota.

Las solicitudes de aumento de cuota se procesan en el orden en que se reciben y la prioridad va a los clientes que usan activamente su asignación de cuota existente. Es posible que se denieguen las solicitudes que no cumplen esta condición.

Procedimientos recomendados generales para mantenerse dentro de los límites de velocidad

Para minimizar los problemas relacionados con los límites de velocidad, use las técnicas siguientes:

• Implemente la lógica de reintento en la aplicación.
• Evite cambios nítidos en la carga de trabajo. Aumente la carga de trabajo gradualmente.
• Pruebe diferentes patrones de aumento de carga.
• Aumente la cuota asignada a la implementación. Mueva la cuota de otra implementación, si es necesario.

Establecimiento del tiempo de espera del lado cliente

Establezca el tiempo de espera del lado cliente explícitamente en función de las instrucciones siguientes.

• Modelos de razonamiento (modelos que generan tokens de razonamiento intermedios antes de generar una respuesta resumida): hasta 29 minutos.
• Modelos sin razonamiento:
  • Para streaming, hasta 60 segundos.
  • Para las solicitudes que no son de streaming, hasta 29 minutos.

29 minutos aquí no significa que todas las solicitudes tarden 29 minutos, sino en función de los tokens de contexto, los tokens generados y las tasas de aciertos de caché, las solicitudes pueden tardar hasta 29 minutos.

Establezca un tiempo de espera menor que estos valores, optimizados para los patrones de tráfico.

Para los modelos de razonamiento, incluidas las solicitudes de streaming, primero se generan todos los tokens de razonamiento y, a continuación, se resumen antes de devolver el primer token de respuesta al usuario.

Puede modificar el parámetro de esfuerzo de razonamiento para controlar el número de tokens de razonamiento generados en el proceso.

Solución de problemas

Contenido relacionado

• Modelos disponibles en Foundry Models
• Gestionar y aumentar cuotas de los recursos de Foundry
• Cuotas y límites en Azure OpenAI