Início rápido: Otimizar um agente de instruções (pré-visualização)

Neste guia de introdução rápida, utilize o assistente de otimização no portal Foundry para melhorar as instruções de um agente de pedidos, as descrições das ferramentas de invocação de funções e a seleção de modelos. Selecione uma versão do agente, um conjunto de dados e avaliadores, execute o otimizador e compare os candidatos gerados com a linha de base.

Se você não tiver uma assinatura do Azure, crie uma conta gratuita.

Pré-requisitos

Antes de começar, você precisa:

• Um projeto da Microsoft Foundry com um agente de prompts implementado. Para criar um, veja Quickstart: Crie um agente de prompts.
• Um modelo de avaliação e um modelo de otimização suportado implementados no projeto. Para modelos suportados, consulte Modelos.
• Uma fonte de conjunto de dados: rastreios de agentes, um conjunto de dados de avaliação registado no projeto, ou um conjunto de dados JSONL para carregar. O conjunto de dados deve usar os nomes das colunas exigidos pelos avaliadores selecionados porque o assistente não suporta o mapeamento de colunas.

Abra o assistente de otimização

1. Vai ao portal da Foundry e abre o teu projeto.
2. Selecione Agentes e depois selecione o agente de prompts que quer otimizar.
3. Selecione o separador Otimizar.
4. Selecione Criar execução de otimização.

Selecione o alvo de otimização

O alvo define a versão do prompt-agent e os modelos candidatos a avaliar.

1. No passo Alvo , selecione a versão do agente a usar como base. A versão mais recente está selecionada predefinidamente.
2. Selecione o modelo de otimização, o número máximo de candidatos e o modelo de avaliação.
3. Para avaliar candidatos em múltiplas implementações de modelos, ativa o Comparar entre modelos e depois seleciona os modelos a incluir.
4. Continue até à etapa Conjunto de Dados.

O otimizador pode gerar candidatos que melhoram as instruções do agente, as descrições das ferramentas de invocação de funções ou a seleção do modelo. Outros tipos de ferramentas não são suportados para otimização de descrição de ferramentas.

Selecione um conjunto de dados de avaliação

O otimizador utiliza o mesmo conjunto de dados para pontuar a linha de base e cada candidato gerado.

1. No passo Dataset , escolha uma destas opções:

   • Gerar um conjunto de dados a partir de rastreios de agentes.
   • Selecione um conjunto de dados existente registado no projeto.
   • Carrega um novo conjunto de dados a partir do teu dispositivo.

2. Faça uma visualização do conjunto de dados e confirme se contém as colunas exigidas pelos seus avaliadores.

3. Continue para o passo Critérios.

Use tarefas representativas, incluindo pedidos comuns, casos extremos e comportamentos que pretende que o otimizador preserve ou melhore.

Critérios de avaliação selecionados

Os avaliadores definem como o otimizador pontua cada resposta.

1. No passo dos Critérios , selecione um ou mais avaliadores:

   • Selecione avaliadores incorporados e configure quaisquer parâmetros necessários.
   • Selecione um avaliador personalizado existente.
   • Crie um avaliador de rubricas personalizado e depois selecione-o.

2. Confirme que cada avaliador é compatível com o esquema do conjunto de dados.

3. Continue para a etapa de Revisão .

Reveja e submeta a execução

1. Na etapa de Revisão , verifique o agente e a versão, conjunto de dados, avaliadores, configurações dos avaliadores e modelos candidatos.

   Note

   O custo estimado é um intervalo modelado, não um limite de despesa ou uma taxa final. Revê as entradas de cálculo, pressupostos de preços e exclusões antes de submeteres o trabalho. Para detalhes, consulte estimativas de custo do otimizador de agentes e utilização de tokens.

   O resumo mostra os valores Mínimo, Estimado e Máximo . Expanda a distribuição de custos (estimada) para rever as chamadas estimadas e o custo de gerir o seu agente, pontuar respostas e gerar melhorias.

2. Selecione Enviar.

3. Espere que a execução da otimização termine. A execução aparece na lista Execuções de otimização com o estado atual.

O tempo de execução depende do tamanho do conjunto de dados, número de candidatos e modelos selecionados.

Compare os resultados

1. Quando a execução tem sucesso, seleciona-a em Execuções de Otimização.
2. Compare a pontuação de cada candidato com a pontuação base.
3. Reveja as alterações às instruções antes e depois.
4. Inspecione as pontuações por avaliador e, se selecionou vários modelos, compare os resultados de cada modelo.
5. Selecione o candidato que proporcione uma melhoria significativa de qualidade sem um aumento inaceitável no uso ou custo dos tokens.

A vista de utilização de tokens da execução concluída agrupa a entrada, saída e total de tokens medidos por fase e modelo. Reporta a contagem de tokens em vez de uma cobrança final de moeda. Um modelo ou valor de utilização em falta significa que o uso não foi atribuído nem medido, não que fosse gratuito. Para detalhes, veja Uso medido de tokens após a execução.

Se todos os candidatos obterem uma pontuação inferior à linha base, mantenha o agente atual. Revê o conjunto de dados, os avaliadores ou as definições de otimização antes de voltares a executar o otimizador.

Promover um candidato

Promova o candidato selecionado para criar uma nova versão do agente de instruções.

1. Na página da execução concluída, selecione Promover candidato.
2. Em Promover candidato como nova versão de agente, selecione o candidato a promover.
3. Revise a versão ativa atual e a melhoria da pontuação do candidato selecionado em relação à linha de base.
4. Selecione Promover para a versão agente.

A promoção cria uma nova versão do agente com a configuração otimizada do candidato. Se o agente estiver fixado a uma versão específica, a nova versão não recebe tráfego até a definires como a versão ativa nos dados do agente.

O que aprendeste

Neste guia de início rápido, você irá:

• Iniciei uma execução de otimização de prompt-agent no portal da Foundry.
• Selecionou um conjunto de dados, avaliadores e modelos candidatos.
• Comparei candidatos otimizados com a linha base de prompt-agente.
• Promovido o candidato selecionado para uma nova versão do prompt-agent.

Conteúdo relacionado

• Visão geral do otimizador de agentes
• Estimativas de custo do otimizador de agentes e utilização de tokens
• Quickstart: Otimizar um agente hospedado
• Converter vestígios de agentes em conjuntos de dados de avaliação