Visão geral do custo do otimizador do agente e do uso de tokens

O otimizador de agente no Serviço de Agente do Foundry fornece uma estimativa modelada de custo antes de você enviar uma tarefa de otimização. Depois que o trabalho for concluído, seu resultado poderá incluir a medição do uso de tokens. Use a estimativa para planejamento e o uso medido para entender a atividade do modelo que ocorreu durante a execução.

A estimativa de pré-execução e o uso de token pós-execução atendem a diferentes finalidades. Nenhum dos valores é um limite de gastos ou uma substituição para sua fatura Azure.

Estimativa de custo de pré-execução para agentes do prompt

Antes de criar um trabalho de otimização de prompt-agent no portal do Foundry, a etapa Revisão mostra uma estimativa de custo para as configurações solicitadas. Atualmente, os fluxos de otimização do agente hospedado não mostram essa estimativa de pré-execução.

A estimativa prevê chamadas ao modelo e encargos de tokens. Solicitar uma estimativa não cria um trabalho de otimização nem chama os modelos. As contagens de chamadas são calculadas com base nas entradas do trabalho. Os valores monetários são modelados com base na aplicação de premissas estáticas de token e preços de referência do modelo a essas contagens de chamadas.

O portal mostra três valores de moeda modelados:

O resumo identifica a contagem de candidatos, a contagem de linhas do conjunto de dados, a contagem do avaliador e a data de preço de referência. Expanda a divisão de custo (estimada) para examinar cada fase.

Entradas para a estimativa

O otimizador calcula as faixas de contagem de chamadas com base na configuração da tarefa resolvida. O cálculo usa estas entradas:

Para um conjunto de dados referenciado, o serviço resolve sua contagem de linhas antes de retornar uma estimativa. Se não conseguir determinar uma contagem de linhas não vazias, não cria uma estimativa com base em um tamanho presumido do conjunto de dados.

Para execuções de seleção de modelos, a estimativa não precifica separadamente as chamadas do agente para cada modelo no espaço de pesquisa. Ele usa o modelo de agente de linha de base configurado quando disponível. Se esse modelo não puder ser resolvido, ele usará o preço do modelo de avaliação para a camada do agente.

Suposições de token estático

A estimativa separa a atividade do modelo em camadas para que você possa ver qual parte da execução contribui para o total. Ele usa as seguintes suposições estáticas TokensPerCall :

Essas suposições gerenciadas pelo serviço podem ser alteradas à medida que o avaliador é calibrado. Para cada camada, o otimizador multiplica o intervalo de contagem de chamadas pelas suposições do prompt estático e do token de conclusão. Em seguida, ele aplica preços de referência datados por um milhão de tokens:

modeled layer cost = calls × ((prompt tokens × input price) + (completion tokens × output price)) / 1,000,000

O total é a soma das camadas que podem ser precificadas. Se uma suposição de preço de modelo ou token não estiver disponível para uma camada, a estimativa identificará a camada não precificada e a excluirá do total.

O que acontece durante uma execução de otimização

Para entender as camadas de custo, ajuda a saber como o otimizador usa cada modelo nos bastidores. Uma execução de otimização segue este ciclo tanto para os agentes de prompt quanto para os agentes hospedados:

1. Avalie a linha de base (agente + juiz). O otimizador invoca seu agente em cada linha do conjunto de dados para coletar respostas. Em seguida, o modelo de avaliação pontua cada resposta em relação a cada avaliador para estabelecer pontuações de linha de base.
2. Gerar um candidato (reflexão). O modelo de otimização recebe as pontuações de linha de base, analisa pontos fracos e produz uma configuração de agente aprimorada. Dependendo do tipo de agente, a configuração pode incluir instruções reescritas, habilidades refinadas, descrições de ferramentas melhores ou um modelo diferente.
3. Avalie o candidato (agente + juiz). O otimizador executa o agente com a configuração candidata nas mesmas linhas do conjunto de dados e atribui pontuações às respostas.
4. Repetir. As etapas 2 a 3 são repetidas para cada candidato adicional. Cada ciclo adiciona outra rodada de chamadas de reflexão e avaliação.

As três camadas de custo correspondem diretamente a este ciclo:

• Executar seu agente – sempre que o agente é invocado em uma linha de conjunto de dados (linha de base e cada candidato).
• Pontuação de respostas — sempre que o modelo de avaliação julga uma resposta com base em um avaliador.
• Gerando melhorias – sempre que o modelo de otimização reflete nos resultados e produz um novo candidato.

Exemplo prático: execução de no máximo 2 candidatos

O exemplo a seguir mostra como a fórmula se aplica a uma configuração de trabalho concreta. Todos os preços são apenas para ilustração.

Configurações do trabalho:

Contagens de chamadas estimadas:

O otimizador deriva as contagens de chamadas da configuração do trabalho:

Aplique a fórmula a cada camada:

O otimizador pesquisa os preços de entrada e saída de referência datados para cada modelo e aplica a fórmula. Por exemplo, o cálculo da camada do agente é:

60 × ((2,000 × <input price>) + (400 × <output price>)) / 1,000,000

O mesmo padrão se aplica às camadas de avaliação e reflexão, cada uma usando as premissas de tokens e os preços de referência para seus respectivos modelos. Em seguida, o portal soma todas as camadas para produzir os valores Mínimo, Estimado e Máximo mostrados na etapa Revisão .

Em uma execução típica de 2 candidatos, a camada de reflexão (modelo de otimização) é responsável pela maior parte do custo estimado porque usa um modelo mais capaz com taxas mais altas por token. A camada de juiz geralmente é a menos cara porque usa um modelo de avaliação menor com suposições de token baixo por chamada.

Premissas e limitações da estimativa

A estimativa é um valor de planejamento em vez de uma cobrança final porque combina um orçamento de chamada algorítmica com o uso de token modelado.

• As suposições de token são médias para cada camada de custo. As contagens reais de prompt, resposta, raciocínio e token armazenado em cache variam de acordo com o modelo e a solicitação.
• Um trabalho de otimização pode parar mais cedo depois de não encontrar nenhuma melhoria adicional. A parada antecipada pode reduzir o uso real abaixo do valor Estimado ou Máximo .
• O uso do agente varia de acordo com instruções, turnos de conversa, comprimento da resposta, chamadas de ferramenta e saída da ferramenta.
• Os preços do modelo de referência são datados e podem ser diferentes dos preços de sua assinatura, região, tipo de implantação ou contrato.
• A estimativa não inclui encargos de APIs externas, bancos de dados, serviços de pesquisa ou outras ferramentas que seu agente chama.
• O valor máximo não é um limite de gastos.

Uso de tokens medido após a execução

Quando um trabalho de otimização é concluído, seu resultado pode incluir o uso de token medido para cada fase da execução. A exibição de Uso de tokens pode estar disponível para execuções de agente do prompt e agente hospedado.

Para agentes hospedados, o uso de Executar seu agente estará disponível somente quando a amostra de avaliação ou o rastreamento do agente incluir informações sobre o uso de tokens. Se o agente hospedado não relatar o uso, o portal omitirá a fase do agente em vez de reportá-la como zero. O portal registra separadamente o uso de respostas de pontuação e de geração de melhorias quando essas chamadas de modelo informam o uso.

A visualização pode conter várias linhas para Executando seu agente quando o otimizador avalia múltiplos modelos de agente.

O portal calcula um custo estimado com base no uso de token medido e nos preços do modelo de referência. Selecione Exibir preços para examinar a fonte de preços. A estimativa não é o valor final cobrado.

Uma fase ou valor de token ausente significa que o uso não foi medido. Isso não significa que a fase usou zero tokens ou não gerou nenhuma cobrança. Alguns agentes hospedados e trabalhos de otimização mais antigos podem não fornecer informações de uso do agente.

O resultado subjacente da tarefa pode conter mais detalhes sobre tokens em cache e tokens de raciocínio. Tokens armazenados em cache são um subconjunto de tokens de entrada e tokens de raciocínio são um subconjunto de tokens de saída. Não adicione esses valores de subconjunto aos totais de entrada ou saída.

Calcular o custo do modelo com base no uso medido

O uso medido de tokens é mais representativo do que as suposições feitas antes da execução, mas informa contagens de tokens em vez do valor final cobrado. Aplique o preço de cada linha de modelo para aproximar o custo do modelo:

approximate model cost = ((input tokens × input price) + (output tokens × output price)) / 1,000,000

Se o uso detalhado fornecer uma contagem de tokens armazenados em cache e o modelo tiver uma taxa de entrada em cache separada, subtraia tokens armazenados em cache do total de entrada e precificasse as partes armazenadas em cache e não armazenadas em cache separadamente.

Calcule cada fase e linha de modelo separadamente e adicione os resultados. Se uma linha não identificar um modelo, você não poderá aplicar com confiabilidade um preço específico da implantação a esse uso.

Use as taxas que se aplicam à sua assinatura, região, tipo de implantação e contrato de cobrança. Para preços publicados, consulte preços do Serviço OpenAI do Azure. O resultado ainda exclui encargos de ferramentas e serviços externos.

Conteúdo relacionado

• Visão geral do otimizador de agentes
• Início Rápido: Otimizar um agente de prompt
• Início Rápido: Otimizar um agente hospedado