Referência de codificação preditiva (versão prévia)

Este artigo descreve os principais conceitos e métricas da ferramenta de codificação preditiva no Descoberta Eletrônica do Microsoft Purview (Premium). As seções do artigo são listadas em ordem alfabética.

Nível de confiança

O nível de confiança é uma configuração avançada quando você cria um modelo de codificação preditiva. Ele define que as métricas de desempenho do modelo (por exemplo, riqueza, precisão e recall) estão dentro de um intervalo especificado (que determina a margem de erro definida para o modelo) que é representativo dos valores reais das pontuações de previsão que o modelo atribui aos itens no conjunto de revisão. Os valores do nível de confiança e da margem de erro também ajudam a determinar quantos itens são incluídos no conjunto de controle. O valor padrão para o nível de confiança é 0,95% ou 95%.

Conjunto de controle

Um conjunto de controle é usado durante o processo de treinamento de um modelo de codificação preditiva. O conjunto de controles é para avaliar as pontuações de previsão que o modelo atribui aos itens com a rotulagem que você executa durante as rodadas de treinamento. O tamanho do conjunto de controles é baseado no número de itens no conjunto de revisão e nos valores de nível de confiança e margem de erro definidos ao criar o modelo. Os itens no conjunto de controles nunca são alterados e não são identificáveis para os usuários. O número total de itens no conjunto de controles é exibido na página de submenu de uma rodada de treinamento.

Matriz de confusão do conjunto de controles

Depois de concluir uma rodada de treinamento, o modelo atribui uma pontuação de previsão aos 10 itens no conjunto de controle que você rotulou durante a rodada de treinamento. O modelo compara a pontuação de previsão desses 10 itens com o rótulo real que você atribuiu ao item durante a rodada de treinamento. Com base nessa comparação, o modelo identifica as seguintes classificações para avaliar o desempenho de previsão do modelo:

Com base nessas comparações, o modelo deriva valores para as métricas de pontuação F, precisão e recall e a margem de erro para cada uma delas. O número de cada um dos tipos de confusão da matriz é exibido na página de submenu de uma rodada de treinamento.

Pontuação F

A pontuação F é uma média ponderada das pontuações para as métricas de precisão e recall. O intervalo de pontuações para essa métrica é de 0 a 1. Uma pontuação mais próxima de 1 indica que o modelo detectará com mais precisão os itens relevantes. A métrica de pontuação F é exibida no dashboard do modelo e na página de submenu para cada rodada de treinamento.

Margem de erro

A margem de erro é uma configuração avançada quando você cria um modo de codificação preditiva. Ele especifica o grau de erro nas métricas de desempenho (por exemplo, riqueza, precisão e recall) derivado da amostragem aleatória de itens em seu conjunto de controles. Uma margem de erro menor requer um conjunto de controles maior para garantir que as métricas de desempenho do modelo estejam dentro de um intervalo menor. Os valores da margem de erro e do nível de confiança também ajudam a determinar quantos itens estão incluídos no conjunto de controle. O valor padrão para a margem de erro é 0,05% ou 5%.

Estabilidade do modelo

A estabilidade do modelo indica a capacidade do modelo de prever com precisão se um documento em um conjunto de revisão é relevante ou não. Quando um modelo é instável, mais rodadas de treinamento podem precisar ser executadas para incluir a estabilidade do modelo. Quando o modelo estiver estável, talvez não seja necessário executar mais rodadas de treinamento. O dashboard do modelo indica o estado atual da estabilidade do modelo. Quando um modelo está estável, as métricas de desempenho atingiram um nível que corresponde às configurações de nível de confiança e margem de erro.

Taxa de capotamento

A taxa de reviravolta é a porcentagem de itens no conjunto de revisão em que a pontuação da previsão mudou entre as rodadas de treinamento. Um modelo é considerado estável quando a taxa de capotamento é inferior a 5%. A métrica de taxa de capotamento é exibida no dashboard do modelo e na página de submenu para cada rodada de treinamento. A taxa de capotamento para a primeira rodada de treinamento é zero porque não há uma pontuação de previsão anterior para derrubar.

Precisão

A métrica de precisão mede a proporção de itens relevantes entre os itens que o modelo previu serem relevantes. Isso significa que os itens no conjunto de controle foram rotulados como relevantes pelo revisor e previstos como relevantes pelo modelo. O intervalo de pontuações para essa métrica é de 0 a 1. Uma pontuação mais próxima de 1 indica que o modelo identificará menos itens não relevantes. A métrica de precisão é exibida no dashboard do modelo e na página de submenu para cada rodada de treinamento.

Pontuação da previsão

Esta é a pontuação que um modelo atribui a cada documento em um conjunto de revisão. A pontuação é baseada na relevância do documento em comparação com o aprendizado do modelo nas rodadas de treinamento. Em geral, itens com escores de predição entre 0 e 0,5 são considerados não relevantes e itens com escores de predição entre 0,5 e 1 são considerados relevantes. A pontuação de previsão está contida em um campo de metadados do documento. Você pode usar um filtro de previsão para exibir os itens em um conjunto de revisão que se enquadram em um intervalo de previsão especificado.

Relembrar

A métrica de recall mede a proporção de itens que o modelo previu que eram relevantes entre os itens relevantes. Isso significa que itens relevantes no conjunto de controles que o modelo previu também foram rotulados como relevantes pelo revisor. O intervalo de pontuações para essa métrica é de 0 a 1. Uma pontuação mais próxima de 1 indica que o modelo identificará uma porção maior de itens relevantes. A métrica de recall é exibida no dashboard do modelo e na página de submenu para cada rodada de treinamento.

Conjuntos de revisão

Um conjunto de revisão fornece o escopo de um modelo de codificação preditiva. Quando você cria um novo modelo para o conjunto de revisão, os itens para o conjunto de controle e os conjuntos de treinamento são selecionados no conjunto de revisão. Quando o modelo atribui pontuações de previsão, ele atribui essas pontuações aos itens da revisão. Você precisa adicionar todos os itens ao conjunto de revisão antes de criar um modelo de codificação preditiva. Se você adicionar itens depois de criar um modelo, esses itens não receberão uma pontuação de previsão.

Riqueza

A métrica de riqueza mede a porcentagem de itens do conjunto de revisão que o modelo prevê como relevantes. O intervalo de pontuações para essa métrica é de 0 a 1. A métrica de riqueza é exibida no dashboard do modelo.

Itens de amostra

O termo itens amostrados é uma referência à amostra aleatória de itens em um conjunto de revisão (que contém texto) que são selecionados e associados ao conjunto de controle quando você cria um modelo de codificação preditiva. Uma amostra aleatória de itens também é selecionada para cada rodada de treinamento. Os itens selecionados para o conjunto de controle de um modelo nunca são incluídos em um conjunto de treinamento para o mesmo modelo. O inverso também é verdadeiro: os itens do conjunto de treinamento nunca são incluídos no conjunto de controle.

Conjunto de treinamento

O modelo seleciona aleatoriamente itens do conjunto de revisão e os adiciona a um conjunto de treinamento. Durante uma rodada de treinamento, os itens do conjunto de treinamento (além dos itens do conjunto de controle) são apresentados a você para que você possa rotular cada um como "relevante" ou "não relevante". Esse processo de rotulagem ou "treinamento" ajuda o modelo a aprender como prever quais itens na revisão são relevantes ou não. Cada vez que você executa uma rodada de treinamento, o modelo seleciona mais itens da revisão e os adiciona ao conjunto de treinamento para essa rodada de treinamento. Os itens do conjunto de controle nunca são selecionados para um conjunto de treinamento.