Unidades de modelo en el rendimiento aprovisionado

Las unidades de modelo son una unidad de rendimiento que determina la cantidad de trabajo que tu punto de conexión puede administrar por minuto. Al crear un nuevo punto de conexión de rendimiento asignado, se especifica el número de unidades de modelo que se van a asignar para cada modelo que se ofrece.

La cantidad de trabajo necesaria para procesar cada solicitud al punto de conexión depende del tamaño de la entrada y la salida generada. A medida que aumenta el número de tokens de entrada y salida, también aumenta la cantidad de trabajo necesario para procesar una solicitud. La generación de tokens de salida consume más recursos que el procesamiento de tokens de entrada. El trabajo necesario para cada solicitud crece de forma no lineal a medida que aumenta el número de tokens de entrada o salida, lo que significa que, para un número determinado de unidades de modelo, tu punto de conexión puede administrar:

• Varias solicitudes pequeñas a la vez.
• Menos solicitudes de contexto largo a la vez antes de agotar su capacidad.

Por ejemplo, con una carga de trabajo de tamaño mediano con 3500 tokens de entrada y 300 tokens de salida, puede calcular el rendimiento de los tokens por segundo para un número determinado de unidades de modelo:

Modelos que usan unidades de modelo

Todos los modelos fundacionales compatibles con el rendimiento aprovisionado aprovisionan capacidad de inferencia mediante unidades de modelo, con la excepción de los modelos heredados enumerados a continuación.