Supervisión del modelo implementado
Implementar el modelo de no presentación de forma segura permite ponerlo en producción, pero es en producción donde el comportamiento real de un modelo, y los datos que ve, pueden empezar a desviarse de aquello para lo que el equipo de ciencia de datos lo diseñó. La monitorización es la forma de detectar eso.
Inspección del estado operativo del punto de conexión
Los puntos de conexión en línea de Azure Machine Learning envían métricas a Azure Monitor, incluidas la latencia de las solicitudes, el número de solicitudes, la tasa de errores y el uso de CPU y memoria de los recursos de proceso de la implementación. Puede verlos en Estudio de Azure Machine Learning o crear alertas y paneles en ellos directamente en Azure Monitor. Si aumenta la tasa de errores o la latencia del punto de conexión, ese patrón apunta a una infraestructura o problema de puntuación que se va a investigar, aparte de si las predicciones del modelo siguen siendo precisas.
Tip
Obtenga más información sobre la supervisión de puntos de conexión en línea.
Si un despliegue no puede procesar o evaluar solicitudes, primero separa los problemas de configuración de los problemas de tiempo de ejecución. Pruebe el modelo localmente cuando sea posible, revise el estado de implementación y los detalles del error e inspeccione sus registros de contenedor. Los registros pueden revelar dependencias que faltan, comportamiento de puntuación no válido, errores de imagen o restricciones de recursos y cuotas.
Tip
Obtenga más información sobre cómo solucionar problemas de implementación y puntuación del punto de conexión en línea.
Configuración de la supervisión de las predicciones del modelo
Las métricas indican que el endpoint responde, pero no indican si sus predicciones siguen siendo válidas a medida que cambian los datos del mundo real. Azure Machine Learning proporciona supervisión del modelo para eso, pero es una funcionalidad que se configura. Un despliegue no se supervisa en cuanto a la calidad de las predicciones de forma predeterminada. Para usarlo, primero debe habilitar la recopilación de datos en la implementación en línea para que las solicitudes entrantes y las respuestas se registren y, a continuación, cree un monitor que compare los datos de producción con un conjunto de datos de referencia, normalmente los datos en los que se entrenó o validó el modelo.
Un monitor de modelo calcula señales como estas según una programación que defina:
| Señal | Lo que detecta |
|---|---|
| Desfase de datos | La distribución de las variables de entrada se desvía de los datos de referencia. |
| Desfase de predicción | La distribución de las salidas del modelo cambia con el tiempo. |
| Calidad de los datos | Los valores que faltan, las nuevas categorías o los valores fuera del intervalo aparecen en los datos de producción. |
| Desfase de atribución de características | La importancia relativa de las características cambia en comparación con el entrenamiento. |
Tip
Obtenga más información sobre la supervisión del rendimiento de los modelos implementados en producción.
Decidir cuándo investigar o volver a entrenar
Una señal de supervisión que cruza su umbral configurado es un aviso para investigar, no una corrección automática. Para el modelo de ausencias de Proseware, una alerta de deriva de datos en la antelación de la cita podría significar que la clínica ha cambiado su política de gestión de citas, algo que conviene examinar más de cerca antes de decidir si es necesario reentrenar el modelo. Una señal sostenida de deriva en las predicciones, junto con la información del personal de la clínica de que las citas marcadas no presentan en realidad un mayor riesgo, constituye un argumento más sólido para volver a entrenar el modelo con datos más recientes y volver a desplegarlo a través del mismo flujo que automatizaste antes en este módulo.
Elija entre reversión y reentrenamiento
La reversión es adecuada cuando el problema surge tras un nuevo despliegue y el modelo anterior sigue funcionando correctamente. Cambie primero el tráfico a la implementación conservada y, a continuación, investigue la nueva versión. El reentrenamiento es más adecuado cuando los datos de producción o el comportamiento real han cambiado lo suficiente como para que el modelo anterior tenga la misma limitación. La supervisión proporciona pruebas para la decisión; no debe desencadenar ninguna respuesta sin evaluación.