Referência de avaliadores incorporados

Importante

Os itens marcados como pré-visualização neste artigo estão atualmente em pré-visualização. Esta pré-visualização é fornecida sem um acordo de nível de serviço, e a Microsoft não a recomenda para cargas de trabalho de produção. Certas funcionalidades podem não ser suportadas ou podem ter capacidades limitadas. Para mais informações, consulte Termos de Utilização Suplementares para Microsoft Azure Pré-visualizações.

O Microsoft Foundry inclui avaliadores integrados para avaliar a qualidade, segurança e fiabilidade das respostas da IA ao longo do ciclo de vida do desenvolvimento. Esta referência lista todos os avaliadores disponíveis, os seus propósitos e orientações sobre como selecionar o certo para o seu caso de uso. Também pode criar avaliadores personalizados adaptados aos seus critérios específicos de avaliação.

Ao escolher avaliadores, a Microsoft Foundry Skill pode ajudar a ligar esta referência à configuração de avaliações, otimização rápida e fluxos de trabalho de resolução de problemas.

Avaliadores de propósito geral

Avaliador Purpose
Coerência Mede a consistência lógica e o fluxo das respostas.
Fluência Mede a qualidade e a legibilidade da linguagem natural.

Para saber mais, consulte Avaliadores de Propósito Geral.

Avaliadores de similaridade textual

Avaliador Purpose
Semelhança Medição de similaridade textual assistida por IA.
Classificação de F1 A média harmónica de precisão e recordação em token sobrepõe-se entre resposta e verdade fundamental.
BLEU Avaliação Bilingue A pontuação dos alunos para a qualidade da tradução mede sobreposições em n-gramas entre a resposta e a verdade fundamental.
GLEU Google-BLEU variante para medidas de avaliação ao nível da frase sobrepõe-se, em n-gramas, entre resposta e verdade fundamental.
ROUGE Recall-Oriented Understudy for Gisting Avaliação mede sobreposições em n-gramas entre resposta e verdade fundamental.
METEORO Métrica para Avaliação da Tradução com Ordenação Explícita mede sobrepõe-se em n-gramas entre resposta e verdade fundamental.

Para saber mais, consulte Avaliadores de similaridade textual.

Avaliadores RAG

Avaliador Purpose
Recuperação Mede a eficácia com que o sistema recupera informação relevante.
Recuperação de documentos Mede a precisão nos resultados de recuperação com base na verdade do terreno.
Enraizamento Mede quão fundamentada é a resposta no contexto recuperado. Devolve uma pontuação de 1 a 5 usando um julgamento baseado em modelo.
Groundedness Pro (pré-visualização) Mede se a resposta está fundamentada no contexto recuperado utilizando o serviço Segurança de conteúdo de IA do Azure. Devolve um critério binário de aprovação/reprovação sem exigir uma implementação do modelo.
Relevância Mede a relevância da resposta relativamente à consulta.
Completude da Resposta (pré-visualização) Mede até que ponto a resposta é completa (sem perder informação crítica) relativamente à verdade de base.

Para saber mais, consulte avaliadores de Geração Aumentada por Recuperação (RAG).

Avaliadores de risco e segurança

Avaliador Purpose
Ódio e Injustiça Identifica conteúdos tendenciosos, discriminatórios ou de ódio.
Sexual Identifica conteúdo sexual inadequado.
Violência Deteta conteúdo violento ou incitação.
Auto-lesão Deteta conteúdos que promovem ou descrevem automutilação.
Materiais Protegidos Deteta o uso não autorizado de conteúdos protegidos ou protegidos.
Ataque Indireto (XPIA) Mede se a resposta caiu numa tentativa indireta de fuga injetada através do contexto recuperado.
Vulnerabilidade do Código Identifica problemas de segurança no código gerado.
Atributos Sem Fundamento Deteta informação fabricada ou errada inferida a partir das interações com o utilizador.
Ações Proibidas Mede a capacidade de um agente de IA de se envolver em comportamentos que violem ações explicitamente proibidas.
Fuga de Dados Sensíveis Mede a vulnerabilidade de um agente de IA à exposição de informações sensíveis.

Para saber mais, consulte Avaliadores de Risco e Segurança.

Avaliadores de agentes

Avaliador Purpose
Adesão à Tarefa (pré-visualização) Mede se o agente cumpre tarefas identificadas de acordo com instruções do sistema.
Conclusão de Tarefa (pré-visualização) Mede se o agente completou com sucesso a tarefa solicitada de ponta a ponta.
Satisfação do Cliente (pré-visualização) Mede a satisfação holística do utilizador numa conversa usando seis dimensões: utilidade, completude, clareza, tom, resolução e adaptabilidade.
Resolução de Intenções (pré-visualização) Mede a precisão com que o agente identifica e responde às intenções do utilizador.
Eficiência da Navegação de Tarefas Determina se a sequência de passos do agente corresponde a um caminho ótimo ou esperado para medir a eficiência.
Precisão nas chamadas de ferramenta Mede a qualidade global das chamadas de ferramenta, incluindo seleção, correção dos parâmetros e eficiência.
Seleção de Ferramentas Mede se o agente selecionou as ferramentas mais adequadas e eficientes para uma tarefa.
Precisão da Introdução de Ferramentas Valida que todos os parâmetros das chamadas de ferramenta estão corretos, com critérios rigorosos que incluem aterramento, tipo, formato, completude e adequação.
Utilização da Saída da Ferramenta Mede se o agente interpreta e utiliza corretamente as saídas da ferramenta de forma contextual nas respostas e chamadas subsequentes.
Sucesso na Chamada de Ferramenta Avalia se todas as chamadas de ferramenta foram executadas com sucesso sem falhas técnicas.
Quality Grader (pré-visualização) Permite a avaliação de qualidade em múltiplas dimensões — relevância, abstenção, completude da resposta, fundamentação e cobertura do contexto — num único avaliador, em vez de executar avaliadores individuais separadamente.
Qualidade da Saída (pré-visualização) Agrupa fluência, Coerência, Resolução de Intenções, Adesão à Tarefa, Fundamentação e Conclusão de Tarefas numa única chamada de juiz LLM.
Qualidade do Uso da Ferramenta (pré-visualização) Agrupa a Precisão das Chamadas de Ferramentas, o Sucesso das Chamadas de Ferramentas, a Precisão da Entrada de Ferramentas, a Utilização da Saída da Ferramenta e a Seleção da Ferramenta numa única chamada de juiz LLM.

Para saber mais, consulte Avaliadores de Agentes.

Avaliadores de rubricas (pré-visualização)

Avaliador Purpose
Rubrica Pontua uma resposta ou conversa de vários turnos contra critérios personalizados e ponderados, usando um LLM como juiz. Devolve uma pontuação média ponderada normalizada para 0–1 com raciocínio por dimensão.

Para saber mais, consulte avaliadores de Rubricas.

Avaliadores do Azure OpenAI

Avaliador Purpose
Etiquetador de Modelos Classifica conteúdos usando diretrizes e rótulos personalizados.
Verificador de cordas Realiza validações flexíveis de texto e correspondência de padrões.
Semelhança de texto Avalia a qualidade do texto ou determina a proximidade semântica.
Avaliador de Modelos Gera pontuações numéricas (intervalo personalizado) para conteúdos com base em diretrizes personalizadas.

Para saber mais, consulte Azure OpenAI Graders.

Avaliadores personalizados (pré-visualização)

Para além dos avaliadores integrados, pode criar avaliadores personalizados adaptados aos seus critérios específicos de avaliação. Avaliadores personalizados permitem-lhe definir uma lógica de pontuação única, regras de validação e métricas de qualidade que estejam alinhadas com os requisitos do seu negócio e necessidades específicas da aplicação.

Para saber mais, consulte Avaliadores Personalizados.

Níveis de avaliação

Cada avaliador suporta níveis específicos de avaliação, indicados pelo supported_evaluation_levels campo no catálogo do avaliador:

Nível Description
turn Avalia respostas individuais de agentes (padrão)
conversation Avalia conversas inteiras com múltiplas voltas

Ao criar uma execução de avaliação, defina evaluation_level para controlar se os avaliadores avaliam turnos individuais ou a conversa completa. Se omitido, o padrão é turn.

Os avaliadores ao nível da conversa avaliam a interação completa em vez de turnos individuais. Use-os para medir resultados como satisfação do utilizador, conclusão de tarefas em múltiplas etapas ou coerência em toda a conversa.

Importante

Quando os seus dados de avaliação utilizam este messages formato, pode incluir avaliadores com diferentes níveis de avaliação suportados na mesma sequência:

  • Com , os avaliadores avaliam evaluation_level="turn"a conversa um turno de cada vez.
  • Com evaluation_level="conversation", o serviço executa avaliadores que suportam a avaliação ao nível da conversa e ignora avaliadores apenas por turnos.

A avaliação ao nível da conversa requer o messages formato. Os dados de consulta e resposta não suportam evaluation_level="conversation".

Combinação de avaliadores

Para uma avaliação abrangente da qualidade, combine múltiplos avaliadores:

  • Aplicações RAG: Recuperação + Aterramento + Relevância + Segurança de Conteúdo
  • Aplicações do agente: Qualidade de Saída + Qualidade do Uso da Ferramenta + Rubrica + Segurança de Conteúdo
  • Aplicações de tradução: BLEU + METEOR + Fluência + Coerência
  • Todas as aplicações: Adicione avaliadores de risco e segurança (Ódio e Injustiça, Sexual, Violência, Self-Harm) para práticas responsáveis de IA

Conteúdo relacionado

  • Última atualização a