Unidades de modelo na taxa de transferência provisionada

As unidades modelo são uma medida de taxa de transferência que determina quanto trabalho o seu endpoint pode lidar por minuto. Ao criar um novo ponto de extremidade de taxa de transferência provisionada, especifica quantas unidades de modelo provisionar para cada modelo servido.

A quantidade de trabalho necessária para processar cada solicitação para seu endpoint depende do tamanho da entrada e da saída gerada. À medida que o número de tokens de entrada e saída aumenta, a quantidade de trabalho necessária para processar uma solicitação também aumenta. A geração de tokens de saída consome mais recursos do que o processamento de tokens de entrada. O trabalho necessário para cada solicitação cresce de forma não linear à medida que as contagens de tokens de entrada ou saída aumentam, significando que, para uma determinada quantidade de unidades de modelo, o seu ponto de extremidade consegue processar:

• Várias pequenas solicitações ao mesmo tempo.
• Menos pedidos de contextos longos ao mesmo tempo antes de ficar sem capacidade.

Por exemplo, com uma carga de trabalho de tamanho médio com 3500 tokens de entrada e 300 tokens de saída, você pode estimar a taxa de transferência de tokens por segundo para um determinado número de unidades de modelo:

Modelos que usam unidades de modelo

Todos os modelos fundacionais suportados para throughput aprovisionado disponibilizam capacidade de inferência utilizando unidades de modelo, com exceção dos modelos antigos indicados abaixo.