Visualización de métricas y evaluación de modelos

Después de entrenar y realizar un seguimiento de los modelos con MLflow en Azure Machine Learning, puede explorar las métricas y evaluar los modelos.

• Revise las métricas en Azure Machine Learning Studio.
• Recupere ejecuciones y métricas con MLflow.

Visualización de las métricas en Azure Machine Learning Studio

Una vez completado el trabajo, puede revisar los parámetros, las métricas y los artefactos registrados en Azure Machine Learning Studio.

Al revisar las ejecuciones de trabajos en Azure Machine Learning Studio, explorará las métricas de una ejecución de trabajo, que forma parte de un experimento.

Para ver las métricas a través de una interfaz de usuario intuitiva, puede hacer lo siguiente:

1. Para abrir Studio, vaya a https://ml.azure.com.
2. Busque la ejecución del experimento y ábrala para ver sus detalles.
3. En la pestaña Detalles , todos los parámetros registrados se muestran en Parámetros.
4. Seleccione la pestaña Métricas y seleccione la métrica que desea explorar.
5. Los trazados registrados como artefactos se pueden encontrar en Imágenes.
6. Los recursos del modelo que se pueden usar para registrar e implementar el modelo se almacenan en la carpeta models en Salidas y registros.

Recuperación de métricas con MLflow en un cuaderno

Al ejecutar un script de entrenamiento como trabajo en Azure Machine Learning y realizar un seguimiento del entrenamiento del modelo con MLflow, puede consultar las ejecuciones en un cuaderno mediante MLflow. El uso de MLflow en un cuaderno proporciona más control sobre qué ejecuciones desea recuperar para comparar.

Al usar MLflow para consultar las ejecuciones, hace referencia a experimentos y ejecuciones.

Buscar en todos los experimentos

Puede obtener todos los experimentos activos en el área de trabajo mediante MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Si también desea recuperar experimentos archivados, incluya la opción ViewType.ALL:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Para recuperar un experimento específico, puede ejecutar:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Recuperación de ejecuciones

MLflow permite buscar ejecuciones dentro de cualquier experimento. Necesita el identificador del experimento o el nombre del experimento.

Por ejemplo, cuando desea recuperar las métricas de una ejecución específica:

mlflow.search_runs(exp.experiment_id)

Puede buscar ejecuciones en varios experimentos si es necesario, lo que resulta útil cuando desea comparar ejecuciones del mismo modelo en distintos experimentos. Por ejemplo, diferentes personas o iteraciones de proyectos diferentes pueden registrar el mismo modelo en experimentos independientes.

Puede usar search_all_experiments=True si desea buscar en todos los experimentos del área de trabajo.

De forma predeterminada, los experimentos se ordenan de forma descendente por start_time, que es el momento en que el experimento se puso en cola en Azure Machine Learning. Sin embargo, puede cambiar este valor predeterminado mediante el parámetro order_by.

Por ejemplo, si desea ordenar por hora de inicio y solo mostrar los dos últimos resultados:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

También puede buscar una ejecución con una combinación específica en los hiperparámetros:

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)