Avaliar erros em modelos de aprendizagem automática

Um dos maiores desafios com as práticas atuais de depuração de modelos é usar métricas agregadas para pontuar modelos em um conjunto de dados de referência. A precisão do modelo pode não ser uniforme entre subgrupos de dados e pode haver coortes de entrada para as quais o modelo falha com mais frequência. Estas falhas levam à falta de fiabilidade e segurança, à aparição de problemas de justiça e a uma perda total de confiança na aprendizagem automática.

A análise de erros afasta-se das métricas de precisão agregada. Ele expõe a distribuição de erros para desenvolvedores de forma transparente e permite que eles identifiquem e diagnostiquem erros de forma eficiente.

O componente de análise de erros do painel de IA responsável fornece aos profissionais de aprendizado de máquina uma compreensão mais profunda da distribuição de falhas do modelo e os ajuda a identificar rapidamente coortes errôneas de dados. Este componente identifica as coortes de dados com uma taxa de erro mais elevada em comparação com a taxa global de erro de referência. Contribui para o estágio de identificação do fluxo de trabalho do ciclo de vida do modelo por meio de:

• Uma árvore de decisão que revela coortes com altas taxas de erro.
• Um mapa de calor que visualiza como os recursos de entrada afetam a taxa de erro entre coortes.

Discrepâncias nos erros podem ocorrer quando o sistema tem um desempenho inferior para grupos demográficos específicos ou coortes de entrada raramente observadas nos dados de treinamento.

As capacidades deste componente vêm do pacote Análise de Erros, que gera perfis de erro de modelo.

Use a análise de erros quando precisar:

• Obtenha uma compreensão profunda de como as falhas de modelo são distribuídas em um conjunto de dados e em várias dimensões de entrada e recurso.
• Decomponha as métricas agregadas de desempenho para descobrir automaticamente coortes erradas, permitindo que possa tomar medidas de mitigação direcionadas.

Árvore de erros

Os padrões de erro são frequentemente complexos e envolvem mais do que uma ou duas características. Pode ter dificuldade em explorar todas as combinações possíveis de funcionalidades para descobrir bolsões de dados ocultos com falhas críticas.

Para aliviar a carga, a visualização em árvore binária particiona automaticamente os dados de referência em subgrupos interpretáveis que têm taxas de erro inesperadamente altas ou baixas. Em outras palavras, a árvore usa os recursos de entrada para separar ao máximo o erro do modelo do sucesso. Para cada nó que define um subgrupo de dados, pode investigar a seguinte informação:

• Taxa de erro: A proporção das instâncias no nó para as quais o modelo está incorreto. A visualização mostra este valor através da intensidade da cor vermelha.
• Cobertura de erros: A parte de todos os erros que caem no nó. A visualização mostra este valor através da taxa de ocupação do nó.
• Representação de dados: o número de instâncias em cada nó da árvore de erro. A visualização mostra este valor através da espessura da aresta de entrada até ao nó, juntamente com o número total de instâncias no nó.

Mapa de calor de erro

Esta perspetiva segmenta os dados com base numa grelha unidimensional ou bidimensional de características de entrada. Pode escolher as funcionalidades de entrada de interesse para análise.

O mapa de calor visualiza células com alto erro usando uma cor vermelha mais escura para chamar a atenção para essas regiões. Esse recurso é especialmente benéfico quando os temas de erro são diferentes entre partições, o que acontece com frequência na prática. Nesta vista de identificação de erros, o seu conhecimento ou hipóteses orientam a análise e ajudam-no a perceber quais as características mais importantes para compreender falhas.

Próximos passos

• Saiba como gerar o painel de IA Responsável por meio de CLI e SDK ou da interface de utilizador do Azure Machine Learning Studio.
• Explore as visualizações de análise de erros suportadas.
• Saiba como gerar um scorecard de IA Responsável baseado nos insights observados no painel de IA Responsável.