Nota
O acesso a esta página requer autorização. Pode tentar iniciar sessão ou alterar os diretórios.
O acesso a esta página requer autorização. Pode tentar alterar os diretórios.
Um conjunto de dados de avaliação é uma coleção reutilizável de casos de teste para medir a qualidade do modelo ou do agente. Os conjuntos de dados de avaliação normalmente utilizam JSONL, com um objeto JSON por linha. Este artigo explica quando usar um conjunto de dados reutilizável, como os dados de avaliação são organizados e as formas disponíveis de os preparar.
Precisa de um conjunto de dados de avaliação?
Cria um conjunto de dados quando quiseres um conjunto de testes estável que possas recorrer contra diferentes versões de modelo, prompt ou agente. Conjuntos de dados reutilizáveis funcionam bem para testes de regressão, portas de qualidade CI/CD e comparações entre execuções de avaliação.
Nem sempre precisas de um conjunto de dados. Se o seu agente Foundry já tiver respostas ou a sua aplicação emitir vestígios para o Application Insights, pode avaliar esses dados onde eles existem. Veja Avaliar interações por ID de resposta e Avaliar traços.
Como a Foundry utiliza os dados de avaliação
Num conjunto de dados JSONL, o messages campo representa interações entre modelos ou agentes. Cada mensagem identifica um papel e o seu conteúdo.
Se o seu conjunto de dados contiver respostas concluídas, o Foundry avalia essas respostas diretamente. Se executar a avaliação contra um modelo ou agente, o Foundry gera uma nova resposta para cada entrada e avalia essa resposta. Qualquer resposta já armazenada no conjunto de dados é ignorada.
Por exemplo, considere um utilizador que não consegue iniciar sessão. O agente pergunta qual erro aparece, o utilizador diz que a sua palavra-passe foi rejeitada e o agente recomenda a redefinição da palavra-passe. A avaliação por turnos avalia a resposta individual de um agente, como a orientação de redefinição de palavra-passe, usando as mensagens anteriores como contexto. A avaliação ao nível da conversa avalia a interação completa.
A configuração evaluation_level na execução controla a granularidade da classificação.
O conjunto de dados e os avaliadores selecionados devem suportar esse nível. Para mais detalhes, consulte Escolher um nível de avaliação.
Para colunas e exemplos padrão, veja Esquema de conjunto de dados de avaliação.
Escolha como preparar os dados de avaliação
| Situation | Abordagem recomendada |
|---|---|
| Tem dados de avaliação selecionados | Carregue-o como um conjunto de dados versionado da Foundry ou forneça um pequeno conjunto de dados em linha. Veja Preparar dados de entrada. |
| Quer rever e reutilizar casos de teste gerados antes de executar uma avaliação | Gerar um conjunto de dados de avaliação sintética a partir de uma definição de agente, prompt inline ou ficheiro de referência. |
| Queres um conjunto de dados reutilizável baseado no tráfego de produção | Converte traços num conjunto de dados. |
| Queres testar cenários simulados com múltiplos turnos | Gerar um conjunto de dados inicial para simulação ou criar cenários de casos de teste em JSONL e, depois, simular conversas. |
| Tem IDs de resposta do Foundry | Avalie as interações pelo ID da resposta sem criar um conjunto de dados. |
| Pretende avaliar os rastreios existentes do Application Insights | Avalie os traços sem criar um conjunto de dados. |
| Quer gerar consultas, invocar um alvo e avaliar as suas respostas num único fluxo de trabalho | Gere consultas sintéticas durante a execução da avaliação. O Foundry guarda as consultas geradas como um conjunto de dados para reutilização. |