Monitorar o modelo implantado

Implantar o modelo no-show com segurança o coloca em produção, mas é no ambiente de produção que o comportamento real do modelo, e os dados que ele vê, podem começar a divergir do que a equipe de ciência de dados projetou. É por meio do monitoramento que você detecta isso.

Monitore a saúde operacional do endpoint

Os pontos de extremidade online do Azure Machine Learning enviam métricas para Azure Monitor, incluindo latência das solicitações, contagem de solicitações, taxa de erro e a utilização de CPU e memória do recurso de computação da implantação. Você os exibe em Estúdio do Azure Machine Learning ou cria alertas e dashboards neles diretamente no Azure Monitor. Se a taxa de erros do endpoint disparar ou a latência aumentar, esse padrão indica um problema de infraestrutura ou no processo de pontuação que deve ser investigado, independentemente de as previsões do modelo continuarem precisas.

Se uma implantação falhar ao provisionar ou atribuir pontuações às solicitações, primeiro separe os problemas de configuração dos problemas de tempo de execução. Teste o modelo localmente quando possível, examine o estado da implantação e os detalhes do erro e inspecione seus logs de contêiner. Os logs podem revelar dependências ausentes, comportamento de pontuação inválido, falhas de imagem ou restrições de recurso e cota.

Configurar o monitoramento para as previsões do modelo

As métricas dizem que o endpoint está respondendo; não informam se as previsões dele continuam válidas à medida que os dados do mundo real mudam. Azure Machine Learning fornece monitoramento de modelo para isso, mas é uma funcionalidade que você configura. Uma implantação não é monitorada quanto à qualidade das previsões por padrão. Para usá-lo, primeiro você habilita a coleta de dados na implantação online para que as solicitações e respostas de entrada sejam registradas e crie um monitor que compare esses dados de produção com um conjunto de dados de referência, normalmente os dados nos quais o modelo foi treinado ou validado.

Um monitor de modelo calcula sinais como estes em um agendamento que você define:

Decidir quando investigar ou treinar novamente

Um sinal de monitoramento que cruza seu limite configurado é um prompt para investigar, não uma correção automática. Para o modelo de não comparecimento da Proseware, um alerta de deriva de dados na antecedência do agendamento da consulta pode significar que a clínica mudou sua política de agendamento, o que vale a pena examinar mais de perto antes de decidir se o retreinamento é necessário. Um sinal persistente de deriva nas previsões, combinado com o feedback da equipe da clínica de que as consultas sinalizadas não são, na prática, de maior risco, é um indicativo mais forte de que o modelo deve ser retreinado com dados mais recentes e reimplantado por meio do mesmo pipeline que você automatizou anteriormente neste módulo.

Escolha entre reversão e retreinamento

A reversão é apropriada quando um problema surge após uma nova implantação e o modelo anterior continua saudável. Direcione o tráfego para a implantação mantida primeiro e, em seguida, investigue a nova versão. O retreinamento é mais apropriado quando os dados de produção ou o comportamento do mundo real foram alterados o suficiente para que o modelo anterior tivesse a mesma limitação. O monitoramento fornece evidências para a decisão; ele não deve disparar nenhuma resposta sem avaliação.