Início rápido: Otimizar um agente de prompt

Neste início rápido, use o assistente de otimização no portal do Foundry para melhorar as instruções de um agente de prompt, descrições da ferramenta de chamada de função e a seleção do modelo. Selecione uma versão do agente, um conjunto de dados e avaliadores, execute o otimizador e compare os candidatos gerados com a linha de base.

Caso não tenha uma assinatura do Azure, crie uma conta gratuita.

Pré-requisitos

Antes de começar, você precisa de:

• Um projeto do Microsoft Foundry com um agente de prompt implantado que não usa o harness do Copilot. Para criar um com um SDK, consulte Início Rápido: Criar um agente de prompt. Para criar um no portal, desmarque Usar o harness do Microsoft Copilot ao criar o agente.
• Um modelo de avaliação e um modelo de otimização com suporte implantado no projeto. Para modelos com suporte, consulte Modelos.
• Uma origem do conjunto de dados: rastreamentos do agente, um conjunto de dados de avaliação registrado no projeto ou um conjunto de dados JSONL para carregar. O conjunto de dados deve usar os nomes de coluna exigidos pelos avaliadores selecionados porque o assistente não dá suporte ao mapeamento de colunas.

Abrir o assistente de otimização

1. Vá para o portal do Foundry e abra seu projeto.
2. Selecione Build>Agentes e selecione o agente de prompt que você deseja otimizar.
3. Selecione a guia Otimizar .
4. Selecione Criar execução de otimização.

Selecione o destino de otimização

O alvo define a versão do prompt-agent e os modelos candidatos a serem avaliados.

1. Na etapa Destino , selecione a versão do agente a ser usada como linha de base. A versão mais recente é selecionada por padrão.
2. Selecione o modelo de otimização, o número máximo de candidatos e o modelo de avaliação.
3. Para avaliar candidatos em várias implantações de modelo, ative Comparar entre modelos e selecione os modelos a serem incluídos.
4. Continue para a etapa do conjunto de dados .

O otimizador pode gerar candidatos que melhoram as instruções do agente, as descrições das ferramentas de chamada de função ou a seleção do modelo. Outros tipos de ferramentas não são compatíveis com a otimização de descrições de ferramentas.

Selecionar um conjunto de dados de avaliação

O otimizador usa o mesmo conjunto de dados para pontuar a linha de base e cada candidato gerado.

1. Na etapa Conjunto de dados, escolha uma destas opções:

   • Gere um conjunto de dados a partir de rastros de agente.
   • Selecione um conjunto de dados existente registrado no projeto.
   • Carregue um novo conjunto de dados do seu dispositivo.

2. Visualize o conjunto de dados e confirme se ele contém as colunas exigidas pelos avaliadores.

3. Continue para a etapa Critérios .

Use tarefas representativas, incluindo solicitações comuns, casos de borda e comportamentos que você deseja que o otimizador preserve ou melhore.

Selecionar critérios de avaliação

Os avaliadores definem como o otimizador pontua cada resposta.

1. Na etapa Critérios , selecione um ou mais avaliadores:

   • Selecione avaliadores internos e configure todos os parâmetros necessários.
   • Selecione um avaliador personalizado existente.
   • Crie um avaliador de rubrica personalizado e selecione-o.

2. Confirme se cada avaliador é compatível com o esquema do conjunto de dados.

3. Continue para a etapa Revisão .

Revisar e enviar a execução

1. Na etapa Revisão , verifique o agente e a versão, o conjunto de dados, os avaliadores, as configurações do avaliador e os modelos candidatos.

   Note

   O custo estimado é um intervalo modelado, não um limite de gastos ou encargo final. Examine as entradas de cálculo, as suposições de preço e as exclusões antes de enviar o trabalho. Para obter detalhes, consulte estimativas de custo do otimizador do agente e uso de token.

   O resumo mostra valores mínimos, estimados e máximos . Expanda Detalhamento de custos (estimado) para revisar o número estimado de chamadas e o custo de Executar seu agente, Pontuar respostas e Gerar melhorias.

2. Selecione Enviar.

3. Aguarde até que a execução da otimização seja concluída. A execução aparece na lista de execuções de otimização com seu status atual.

O tempo de execução depende do tamanho do conjunto de dados, do número de candidatos e dos modelos selecionados.

Compare os resultados

1. Quando a execução for bem-sucedida, selecione-a em Execuções de Otimização.
2. Compare a pontuação de cada candidato com a pontuação da linha de base.
3. Analise as alterações nas instruções antes e depois.
4. Inspecione as pontuações por avaliador e, se tiver selecionado vários modelos, compare os resultados de cada modelo.
5. Selecione o candidato que fornece uma melhoria significativa de qualidade sem um aumento inaceitável no uso ou custo do token.

A visualização de Uso de tokens da execução concluída agrupa os tokens de entrada, saída e total, medidos por fase e modelo. Ele informa a contagem de tokens em vez de um valor final cobrado em moeda. Um valor de uso ou modelo ausente significa que o uso não foi atribuído ou medido, não que fosse gratuito. Para obter detalhes, consulte o uso de tokens medido após a execução.

Se cada candidato pontuar abaixo da linha de base, mantenha o agente atual. Revise as configurações de conjunto de dados, avaliadores ou otimização antes de executar o otimizador novamente.

Promover um candidato

Promova o candidato selecionado para criar uma nova versão do agente de prompt.

1. Na página de execução concluída, selecione Promover candidato.
2. Em Promover candidato como nova versão do agente, selecione o candidato a ser promovido.
3. Examine a versão ativa atual e o aprimoramento da pontuação do candidato selecionado na linha de base.
4. Selecione Promover para a versão do agente.

A promoção cria uma nova versão do agente com a configuração otimizada do candidato. Se o agente estiver fixado em uma versão específica, a nova versão não receberá tráfego até que você o defina como a versão ativa nos detalhes do agente.

O que você aprendeu

Neste guia de início rápido, você:

• Iniciou uma execução de otimização de agente do prompt no portal do Foundry.
• Selecionou um conjunto de dados, avaliadores e modelos candidatos.
• Comparou candidatos otimizados com a linha de base de agente do prompt.
• Promoveu o candidato selecionado para uma nova versão de agente do prompt.

Conteúdo relacionado

• Visão geral do otimizador de agentes
• Estimativas de custo do otimizador de agentes e uso de tokens
• Início Rápido: Otimizar um agente hospedado
• Converta rastros de agentes em conjuntos de dados para avaliação