InferenceDetails interface
Detalhes de uma chamada de inferência
Propriedades
| cache |
Número de tokens de entrada lidos de um cache |
| cache |
Número de tokens de entrada gravados em um cache |
| endpoint | O ponto de extremidade para a chamada de inferência |
| finish |
Matriz de motivos de término |
| input |
Número de tokens de entrada usados |
| model | O nome/identificador do modelo solicitado. Pelo menos um modelo ou responseModel é necessário. |
| operation |
O nome/tipo da operação para a inferência |
| output |
Número de tokens de saída gerados |
| provider |
O nome do provedor (por exemplo, openai, azure, antropo) |
| response |
O nome/identificador do modelo retornado pelo provedor |
| thought |
O processo de pensamento usado pelo agente |
Detalhes da propriedade
cacheReadInputTokens
Número de tokens de entrada lidos de um cache
cacheReadInputTokens?: numberValor da propriedade
number
cacheWriteInputTokens
Número de tokens de entrada gravados em um cache
cacheWriteInputTokens?: numberValor da propriedade
number
endpoint
O ponto de extremidade para a chamada de inferência
endpoint?: ServiceEndpointValor da propriedade
finishReasons
Matriz de motivos de término
finishReasons?: string[]Valor da propriedade
string[]
inputTokens
Número de tokens de entrada usados
inputTokens?: numberValor da propriedade
number
model
O nome/identificador do modelo solicitado. Pelo menos um modelo ou responseModel é necessário.
model?: stringValor da propriedade
string
operationName
O nome/tipo da operação para a inferência
operationName: InferenceOperationTypeValor da propriedade
outputTokens
Número de tokens de saída gerados
outputTokens?: numberValor da propriedade
number
providerName
O nome do provedor (por exemplo, openai, azure, antropo)
providerName: stringValor da propriedade
string
responseModel
O nome/identificador do modelo retornado pelo provedor
responseModel?: stringValor da propriedade
string
thoughtProcess
O processo de pensamento usado pelo agente
thoughtProcess?: stringValor da propriedade
string