Prompts de avaliação de design

A qualidade da sua avaliação depende da qualidade dos seus prompts. Prompts bem projetados testam exatamente o que você pretende, nem mais nem menos.

Este artigo explica como criar prompts de avaliação que produzam resultados claros e acionáveis.

Anatomia de um prompt de avaliação eficaz

Os prompts de avaliação eficazes compartilham quatro características:

• Intenção única
• Frases realistas
• Fundamentado em dados
• Autônomo

Intenção única

Cada prompt deve testar uma meta ou pergunta do usuário. Os prompts de várias intenções dificultam a identificação da causa da falha.

Para testar vários recursos juntos, use avaliações de conversa de várias etapas em vez de combinar intenções em um único prompt.

Frases realistas

Os Prompts devem refletir como os usuários realmente se comunicam, incluindo linguagem informal, frases incompletas e níveis variados de detalhes.

Você pode derivar prompts realistas de:

• Logs de consulta de produção
• Sessões de pesquisa do usuário
• Tíquetes de suporte
• Conversas diárias no local de trabalho

Fundamentado em dados

Prompts devem ser fundamentados em dados. Quando os dados de fundamentação estiverem disponíveis, use entidades, valores e identificadores específicos. Essa abordagem torna as avaliações mensuráveis e verificáveis.

Solicitações fundamentadas permitem afirmações precisas como "A resposta contém 15 dias", em vez de verificações vagas como "A resposta contém o número correto".

Sem dados de base

Prompt: "Qual é a política de tomada de força para engenheiros?"

Com dados fundamentais

Dados de fundamentação:

• Funcionário: Marcus Johnson
• Departamento: Engenharia
• Permanência: 8 meses
• Gerente: Lisa Park
• Local: Escritório de Austin

Prompt: "Estou na equipe de engenharia - quantos dias de férias eu tenho?"

Independente (volta única)

Para avaliações de turno único, cada prompt deve incluir todo o contexto necessário. O agente não pode confiar em turnos de conversa anteriores. A tabela a seguir mostra exemplos de prompts independentes.

Para cenários que abrangem vários turnos, use conversas de vários turnos.

Variações de prompt

Nem todos os usuários fazem a mesma pergunta da mesma maneira. Para testar a generalização, crie três variações de cada prompt.

Prompts canônicos

Os prompts canônicos são explícitos, completos e inequívocos. Eles servem como linha de base.

• Inclua todos os parâmetros necessários.
• Use terminologia precisa.
• Evite ambiguidade.
• Representar uma consulta ideal.

Exemplo

"Quantos dias de folga remunerados os funcionários com menos de dois anos de mandato recebem anualmente de acordo com a política atual do PTO?"

Variante de idioma natural

A variante de linguagem natural reflete o fraseado conversacional cotidiano. Variantes de linguagem natural:

• Use linguagem casual e coloquial.
• Pode incluir sinônimos ou termos informais.
• Evite identificadores técnicos.
• Permaneça completo o suficiente para responder.

Exemplo

"Ei, quantas férias eu tenho como um novo contratado?"

A tabela a seguir compara prompts canônicos e variantes de idioma natural.

Sonda de robustez

A investigação de robustez avalia o quão bem o agente lida com entradas imperfeitas. Investigações de robustez:

• Inclua erros de digitação realistas.
• Contenham erros gramaticais.
• Use abreviações ou abreviações.
• Teste o reconhecimento de intenção sob ruído.

Exemplo: "Qual é o meu direito de dias de férias"

A tabela a seguir mostra exemplos de padrões a serem testados.

Exemplos completos de variação de prompt

Os exemplos a seguir demonstram todos os três tipos de prompt para um único cenário.

Cenário: Pedido de equipamentos

Este cenário inclui os seguintes dados de fundamento:

• Funcionário: Katrin Pold
• Departamento: Design de Produto
• Data de início: 2024-01-15
• Orçamento do equipamento: $ 3,500
• Itens aprovados: MacBook Pro (14 ou 16 polegadas), Monitor externo, Teclado, Mouse

Variações de prompt

Canônico

"Sou um novo funcionário do departamento de Design de Produto a partir de 15 de janeiro de 2024. Preciso pedir um laptop MacBook Pro de 16 polegadas. Envie esta solicitação de equipamento por meio do sistema de pedidos de TI."

Linguagem natural

"Oi, acabei de entrar para a equipe de design de produto e preciso configurar meu laptop. Posso obter um MacBook Pro? O de 16 polegadas de preferência.

Sonda de robustez

"Preciso encomendar MacBook Pro 16in para novo trabalho em design de produto"

Asserções (aplicam-se a todas as variações):

• A resposta confirma que a ordem do equipamento foi iniciada.
• O agente invocou a ferramenta OrderEquipment .
• A chamada de ferramenta inclui "MacBook Pro 16 polegadas" (ou equivalente).
• A resposta inclui uma confirmação de pedido ou número de referência.

Cenário: Pergunta de política com personalização

Este cenário inclui os seguintes dados de fundamento:

• Funcionário: James Wright
• Local: Londres, escritório no Reino Unido
• Permanência: 6 meses
• Tipo de emprego: Tempo integral

Variações de prompt

Canônico

"Como funcionário em tempo integral baseado no escritório de Londres, Reino Unido, com 6 meses de mandato, a quais feriados tenho direito este ano?"

Linguagem natural

"Eu trabalho no escritório de Londres - em quais feriados eu saibo?"

Sonda de robustez

"Férias de escritório no Reino Unido neste ano?"

Asserções (aplicam-se a todas as variações):

• A resposta lista os feriados bancários do Reino Unido (não os feriados dos EUA).
• A resposta inclui pelo menos: Dia de Ano Novo, Páscoa, Natal.
• A resposta faz referência à política ou à programação do Reino Unido.
• A resposta não menciona feriados nos EUA, como 4 de julho ou Ação de Graças.

Padrões a evitar

Evite os seguintes padrões de prompt.

Prompts de várias intenções

Evite prompts de várias intenções. Quando o prompt abrange várias intenções, você não pode determinar qual intenção causou uma falha.

• Evite: Qual é o meu saldo de tomada de força, e você pode me dizer sobre opções de seguro de saúde, e talvez eu precise de um laptop também?
• Em vez disso, use o seguinte: Divida em prompts separados ou use a avaliação multithread.

Prompts com reconhecimento de esquema

Evite solicitações com reconhecimento de esquema. Os prompts com reconhecimento de esquema não funcionam bem porque os usuários não conhecem APIs internas ou nomes de ferramentas.

• Evite: "Chamar a API GetPTOBalance para a ID do funcionário 12345"
• Em vez disso, use o seguinte: "Qual é o meu saldo de férias atual?"

Prompts vagos

Evite instruções vagas. Se o prompt for vago, você não poderá definir afirmações mensuráveis.

• Evite: "Ajude-me com as coisas de RH"
• Em vez disso, use o seguinte: "Como fazer para me inscrever no plano de seguro odontológico?"

Prompts principais

Prompts que sugerem a resposta esperada não testam a eficácia real do raciocínio do agente.

• Evite: "A política do PTO diz 15 dias, certo?"
• Em vez disso, use o seguinte: "Quantos dias de folga os novos funcionários recebem?"

Não independente (turno único)

Evite prompts que dependam do contexto anterior.

• Evite: "E a outra opção?"
• Em vez disso, use o seguinte: "Qual é a diferença entre os planos de saúde HMO e PPO?"

Gerar prompts de cenários de usuário

Comece com a intenção real do usuário em vez de listas de recursos.

• Colete perguntas de usuários representativas.
• Agrupar por cenário (por exemplo, pesquisa de política, ações, escalonamento).
• Escreva um prompt canônico para cada cenário.
• Adicione variantes de linguagem natural e robustez.
• Solicitações de aterramento com dados concretos.

Essa abordagem garante que as avaliações reflitam o uso no mundo real.

Expansão do prompt assistida por IA (opcional)

Depois de estabelecer uma linha de base sólida, use a IA para expandir a cobertura. Peça à IA para sugerir mais variações. Revise cada sugestão quanto ao realismo e à relevância. Rejeite prompts que não sejam naturais, com reconhecimento de esquema ou fora do escopo. Adicione prompts somente onde eles melhoram a cobertura.

Lista de verificação de cobertura imediata

Use esta lista de verificação para garantir que a cobertura do prompt seja concluída.

Cobertura de funcionalidade

• Cada ferramenta ou ação tem pelo menos um caso de teste
• Cada domínio de conhecimento é representado
• O comportamento de escalonamento é testado
• Cenários fora do escopo são testados

Cobertura de variação

• Prompt canônico
• Variante de idioma natural
• Sonda de robustez

Casos extremos

• Prompts muito curtos
• Prompts muito longos
• Solicitações ambíguas
• Informações ausentes
• Solicitações inválidas ou sem suporte

Personalização (se aplicável)

• Diferentes locais de usuário
• Diferentes níveis de posse
• Diferentes funções ou departamentos

Próxima etapa