Unidades de modelo em taxa de transferência provisionada

As unidades de modelo são uma unidade de processamento que determina quanto trabalho seu endpoint é capaz de processar por minuto. Ao criar um novo endpoint de taxa de transferência provisionada, especifique quantas unidades de modelo provisionar para cada modelo servido.

A quantidade de trabalho necessária para processar cada requisição ao endpoint depende do tamanho da entrada e da saída gerada. À medida que o número de tokens de entrada e saída aumenta, a quantidade de trabalho necessária para processar uma solicitação também aumenta. Gerar tokens de saída é mais intensivo em recursos do que processar tokens de entrada. O trabalho necessário para cada solicitação cresce de forma não linear à medida que as contagens de token de entrada ou saída aumentam, o que significa que, para uma determinada quantidade de unidades de modelo, seu ponto de extremidade pode lidar com:

• Várias solicitações pequenas de cada vez.
• Menos solicitações de contexto longo por vez antes de esgotar a capacidade.

Por exemplo, com uma carga de trabalho média com 3500 tokens de entrada e 300 de saída, você pode estimar a taxa de transferência de tokens por segundo para um número de unidades de modelo:

Modelos que usam unidades de modelo

Todos os modelos de fundação compatíveis com taxa de transferência provisionada provisionam capacidade de inferência usando unidades de modelo, exceto os modelos herdados listados abaixo.