O que é o otimizador do agente? (versão prévia)

Importante

O Otimizador de Agente está atualmente em versão prévia. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares para Versões Prévias do Microsoft Azure.

O otimizador de agentes no Serviço de Agente do Foundry melhora automaticamente os agentes baseados em prompt e os agentes hospedados, ao avaliar seu comportamento e gerar configurações melhores. Dependendo do tipo de agente, essas configurações podem incluir instruções aprimoradas, habilidades, descrições de ferramentas e seleção de modelo.

Desenvolver agentes de IA eficazes requer um extenso trabalho de engenharia de prompts. Você implementa um agente com instruções elaboradas manualmente, testa-o em cenários reais, identifica pontos fracos, revisa o prompt e repete. Esse loop é lento, subjetivo e não é dimensionado. O otimizador do agente automatiza esse ciclo para que você possa se concentrar na lógica principal do agente.

Tipos de agente com suporte

O otimizador usa o mesmo loop de melhoria orientado por avaliação para ambos os tipos de agente, mas a configuração, os destinos de otimização e a experiência de implantação diferem.

Tipo de agente	O que o otimizador pode melhorar	Como iniciar uma execução
Agente de prompt	Instruções, descrições da ferramenta de chamada de função e seleção de modelo	Use o assistente de otimização no portal do Foundry. Nenhuma alteração de código é necessária.
Agente hospedado	Instruções, habilidades, descrições da ferramenta de chamada de função e seleção de modelo	Use o Foundry Toolkit, que configura automaticamente a estrutura básica para suporte à otimização, ou deixe o agente pronto para o otimizador e use a Azure Developer CLI.

Agentes de prompt

Para um agente de prompt, o otimizador avalia uma versão do agente selecionada e gera instruções alternativas. Ela também pode melhorar as descrições das ferramentas de chamada de funções e comparar o prompt em várias implantações de modelos candidatos.

As ferramentas de chamada de função do agente de prompt são executadas no cliente. O otimizador pode melhorar as descrições da ferramenta e dos parâmetros que orientam as chamadas de função do modelo, mas não pode avaliar a execução da ferramenta durante a otimização das descrições da ferramenta.

Inicie o assistente de otimização na guia Otimizar do agente no portal Foundry. O assistente orienta você ao selecionar a versão do agente, o conjunto de dados, os critérios de avaliação e os modelos de otimização antes de enviar a execução. Você pode gerar um conjunto de dados a partir de rastreamentos de agentes, selecionar um conjunto de dados existente do Foundry ou carregar um conjunto de dados no assistente.

Quando a execução terminar, compare as mudanças na pontuação, revise o prompt antes e depois e inspecione os resultados por avaliador. Em seguida, você pode promover um candidato selecionado para uma nova versão do agente de prompt gerada na execução de otimização.

Para obter a experiência completa no portal, consulte Início rápido: Otimizar um agente de prompts.

Agentes hospedados

Para um agente hospedado, o otimizador melhora a configuração que seu código carrega em tempo de execução. O agente precisa do pacote de otimização e de uma configuração de linha de base que exponha as instruções e, opcionalmente, as habilidades e as definições da ferramenta de chamada de função. O Foundry Toolkit pode estruturar automaticamente essa integração. Para o fluxo de trabalho da CLI do Desenvolvedor Azure, adicione a integração antes de executar o otimizador. Em seguida, o otimizador pode gerar e avaliar configurações candidatas sem alterar a lógica central do agente.

A otimização do agente hospedado oferece suporte a conjuntos de dados JSONL locais e a conjuntos de dados registrados no seu projeto Foundry, incluindo conjuntos de dados de avaliação gerados a partir de rastros. Após uma execução, aplique o candidato selecionado à configuração local, examine as alterações e reimplante o agente.

Para obter a experiência de agente hospedado de ponta a ponta, consulte Início Rápido: Otimizar um agente hospedado.

O fluxo de trabalho de otimização

Ambos os tipos de agente seguem o mesmo caminho de alto nível:

Selecione a linha de referência do agente. Escolha a versão do prompt-agent ou a configuração de agente hospedado com a qual você compara candidatos.
Selecione um conjunto de dados de avaliação. Use tarefas representativas de um conjunto de dados existente ou carregado. Você também pode usar um conjunto de dados registrado gerado a partir de rastreamentos de agente.
Selecione critérios de avaliação. Escolha avaliadores internos ou personalizados que medem os comportamentos que você deseja melhorar.
Execute o otimizador. Escolha os destinos e modelos de otimização disponíveis e, em seguida, gere e avalie os candidatos. Para os agentes de prompt, examine a estimativa de custo no portal antes de enviar a execução.
Revise os resultados. Compare as pontuações dos candidatos com a linha de base e escolha o melhor candidato. Quando disponível, revise o uso de tokens medido após a execução. Confira Noções básicas sobre os resultados da otimização.
Aplique o candidato selecionado. Promova um candidato a agente de prompt para uma nova versão do agente ou aplique a configuração do agente hospedado e reimplante-o.

Os agentes hospedados exigem integração de código compatível com o otimizador. O Foundry Toolkit cria automaticamente essa integração quando você inicia uma otimização. Para o fluxo de trabalho da CLI do Azure Developer, adicione o pacote de otimização e uma configuração de base antes de começar. Consulte Prepare seu agente para o otimizador. Os agentes de prompt não exigem essa integração de código.

Como funciona o otimizador do agente

O otimizador de agentes executa um ciclo fechado de avaliação e aprimoramento:

Avalie a linha de base. O otimizador invoca seu agente em um conjunto de dados de tarefas e pontua cada resposta em relação aos critérios definidos ou a um conjunto padrão interno. O valor de referência é a pontuação do agente antes de qualquer alteração.
Gerar candidatos. O otimizador produz configurações alternativas chamadas de candidatos, como instruções reescritas, habilidades descobertas, descrições de ferramentas aprimoradas ou seleções de modelos diferentes. Os tipos de candidatos disponíveis dependem do tipo de agente.
Avaliar candidatos. O otimizador testa cada candidato no mesmo conjunto de dados.
Classificar e recomendar. O otimizador classifica os resultados por pontuação composta, um valor entre 0,0 e 1,0 que representa o desempenho agregado e marca o melhor candidato com ★ . Em seguida, aplique e implante o vencedor.

Todo o processo é executado na nuvem. O tempo de execução depende do tamanho do conjunto de dados, do número de candidatos e dos modelos selecionados.

Para agentes hospedados, depois de deixar o otimizador do agente pronto, nenhuma alteração de código adicional é necessária entre as execuções. load_config() retorna sua configuração de referência normalmente e fornece uma configuração otimizada durante a execução, sem flags de recurso nem lógica condicional.

Warning

Durante a otimização, o otimizador avalia seu agente invocando-o em cada tarefa em seu conjunto de dados. Se o agente chamar ferramentas externas, como APIs, bancos de dados ou serviços de terceiros, essas chamadas serão executadas durante cada execução de avaliação. Para evitar efeitos colaterais não intencionais (encargos, mutações de estado ou limitação de taxa), considere usar pontos de extremidade de teste ou simular implementações de ferramentas durante a otimização.

Destinos de otimização

Um objetivo de otimização é um aspecto específico da configuração do seu agente que o otimizador pode melhorar. Os destinos disponíveis dependem do tipo de agente. Para agentes hospedados, o otimizador ativa automaticamente os destinos aplicáveis da configuração de linha de base e de configurações de eval.yaml.

Meta	O que o otimizador melhora	Agente de prompt	Agente hospedado
Ajuste de instrução	Reescreve e refina o prompt do sistema para obter uma pontuação mais alta.	Usa a versão do prompt-agent selecionada como a linha de base.	Ativa quando a linha de base contém um arquivo `instructions.md`.
Aprimoramento de habilidades	Refina o conteúdo de cada habilidade reutilizável sem alterar sua finalidade.	Sem suporte.	Ativa quando a linha de base tem um `skills/` diretório com `SKILL.md` arquivos.
Otimização da ferramenta	Melhora as descrições de parâmetros e ferramentas de chamada de função para que o modelo chame as ferramentas com mais precisão. Ele não altera tipos, padrões ou campos necessários.	Disponível para ferramentas de chamada de função. Como o cliente executa essas ferramentas, a execução da ferramenta não é avaliada durante a otimização.	É ativado quando a linha de base tem um arquivo `tools.json`. Há suporte apenas para ferramentas de chamada de função.
Seleção de modelo	Avalia o agente em várias implementações de modelo para encontrar o melhor equilíbrio entre qualidade e custo.	Selecione modelos candidatos no assistente de otimização.	Adicionar implantações candidatas a `model_search_space` em `eval.yaml`.

Para ver as entradas de referência de agentes hospedados, confira Deixe seu agente pronto para o otimizador. Para executar e configurar destinos de agente hospedado, consulte Otimizar instruções, habilidades, ferramentas e modelos do agente.

Models

O otimizador de agente usa dois modelos durante uma execução de otimização. Ambos devem ser implantados no seu projeto do Foundry.

Modelo	Chave de configuração do agente hospedado	Sinalizador da CLI do agente hospedado	Função	Modelos com suporte
Modelo de avaliação	`eval_model`	`--eval-model`	Avalia as respostas do agente com base nos critérios no conjunto de dados	Qualquer modelo de conclusão de chat (por exemplo, `gpt-4.1-mini`)
Modelo de otimização	`optimization_model`	`--optimize-model`	Gera configurações de candidato (instruções, habilidades, ferramentas, seleção de modelo)	`gpt-5`, `gpt-5.1`, `gpt-5.2`, `gpt-5.4`, , `gpt-5.5`, `DeepSeek-V4-Pro`, `DeepSeek-V-3.2`

O modelo de avaliação é executado uma vez para cada avaliador, tarefa e avaliação do candidato. Ele lê a resposta do agente e cada critério e retorna uma pontuação binária. O modelo de otimização analisa os resultados da linha de base e gera candidatos aprimorados entre os destinos configurados, incluindo instruções, habilidades, ferramentas e modelos. Como ele raciocina com base no conjunto de dados completo, um modelo de otimização mais capaz normalmente produz melhores soluções candidatas.

Para agentes de prompt, selecione o modelo de avaliação e os modelos candidatos no assistente de otimização. Para agentes hospedados, especifique os modelos em eval.yaml ou com flags de CLI. A optimization_model configuração é necessária para execuções de agente hospedado. Para obter as etapas de configuração, consulte Escolher os modelos de avaliação e otimização.

Entender os resultados da otimização

Esta seção explica a tabela de resultados, como a pontuação composta é computada e como interpretar melhorias.

Dica

Exibir os resultados da otimização no portal do Foundry. Navegue até seu projeto, selecione Agentes, escolha seu agente e, em seguida, selecione a guia Otimizar para ver comparações de pontuação, solicitação ou alterações de configuração e detalhes do avaliador.

Para agentes de prompt, uma execução concluída mostra as pontuações da linha de base e do candidato, uma comparação do antes e depois do prompt, do modelo e da descrição das ferramentas, além das pontuações de cada avaliador.

Para agentes hospedados, a CLI também exibe uma tabela de resultados:

Results:
  Candidate              Score  Eval  Strategy
  ──────────────────── ───────  ────  ────────
  baseline                0.93  View
  candidate_1             0.90  View  skill_policy-reviewer
  candidate_2 ★           0.94  View  skill_policy-reviewer, tools
  candidate_3             0.94  View  skill_policy-reviewer, system_prompt, tools
  candidate_4             0.93  View  skill_policy-reviewer, tools

  Candidate IDs:
      baseline             cand_a8a951...
      candidate_1          cand_8d5c85...
    ★ candidate_2          cand_a0ea2e...
      candidate_3          cand_2ae7bb...
      candidate_4          cand_0f6485...

  Apply the best candidate locally, then deploy:
    azd ai agent optimize apply --candidate cand_a0ea2e...
    azd deploy

Colunas da tabela de resultados

Coluna	Description
Candidato	Nome da configuração. `baseline` é o agente atual antes da otimização.
Pontuação	Pontuação composta em todas as tarefas e critérios, variando de 0,0 a 1,0.
Eval	Link para o trabalho de avaliação no portal do Foundry.
Estratégia	Destinos de mutação incluídos no candidato, como `skill_policy-reviewer, tools`.

A ★ indica o candidato com a maior pontuação composta. Este é o candidato recomendado para implantação.

Como as pontuações são computadas

Cada avaliador em seu conjunto de dados produz uma pontuação bruta para a resposta do agente. O otimizador processa essas pontuações para produzir a pontuação composta mostrada nos resultados:

Redimensionamento: a pontuação bruta de cada avaliador é redimensionada para 0 a 1.
Inverta, se necessário: se um avaliador estiver configurado de modo que valores menores sejam melhores, a pontuação será invertida para que todos os avaliadores usem a semântica de "quanto maior, melhor".
Média: a média das pontuações reescalonadas de todos os avaliadores e tarefas é calculada para produzir a pontuação composta.

Pontuação composta: a média de todas as pontuações do avaliador redimensionada em todas as tarefas.

Interpretação das melhorias na pontuação

Aperfeiçoamento	Interpretação
Menor que 0,03	Ruído. Não é uma melhoria significativa.
0,03 a 0,10	Melhoria moderada. Vale a pena implantar.
0,10 a 0,20	Melhoria significativa.
Maior que 0,20	Melhorias importantes. Provavelmente de uma linha de base ruim.

Vantagens e desvantagens dos tokens

As instruções otimizadas geralmente são mais longas e detalhadas, o que pode aumentar o uso do token de resposta. Considere estes fatores:

Se o aumento do token é proporcional à melhoria da pontuação
Se o aumento de custos se ajusta ao seu orçamento
Se as respostas são desnecessariamente verbosas ou agregam valor com a extensão extra

Para obter detalhes sobre o intervalo de custos antes da execução e o uso medido após a execução, consulte Estimativas de custo do otimizador de agentes e uso de tokens.

Limitações e disponibilidade

O otimizador de agentes oferece suporte a agentes baseados em prompt e agentes hospedados na versão preliminar.
As execuções de otimização do agente de prompt são iniciadas no portal do Foundry. Você pode promover um candidato selecionado para uma nova versão do agente a partir da execução concluída.
A otimização de agente hospedado está disponível em todas as regiões em que os agentes hospedados estão disponíveis, exceto no Leste da Noruega.
A otimização do agente hospedado requer o protocolo Respostas.

Comentários

Esta página foi útil?

Last updated on 2026-08-25