Veja métricas e avalie modelos

Depois de treinar e acompanhar modelos com MLflow em Azure Machine Learning, pode explorar as métricas e avaliar os seus modelos.

• Revise métricas no estúdio Azure Machine Learning.
• Obter execuções e métricas com MLflow.

Veja as métricas no estúdio Azure Machine Learning

Quando o seu trabalho estiver concluído, pode rever os parâmetros registados, métricas e artefactos no estúdio Azure Machine Learning.

Quando analisa execuções de trabalho no estúdio do Azure Machine Learning, explora as métricas do trabalho, que fazem parte de um experimento.

Para visualizar as métricas através de uma interface intuitiva, pode:

1. Abra o Estúdio navegando até https://ml.azure.com.
2. Encontre a execução do seu experimento e abra-a para ver os seus detalhes.
3. No separador Detalhes , todos os parâmetros registados são mostrados em Parámetros.
4. Selecione o separador Métricas e selecione a métrica que quer explorar.
5. Quaisquer gráficos registados como artefatos podem ser encontrados em Imagens.
6. Os ativos do modelo que podem ser usados para registar e implementar o modelo são armazenados na pasta de modelos em Outputs + logs.

Recuperar métricas com MLflow num caderno

Quando executa um script de treino como trabalho no Azure Machine Learning e acompanha o treino do seu modelo com o MLflow, pode consultar as execuções num notebook usando o MLflow. Usar o MLflow num caderno dá-te mais controlo sobre quais as execuções que queres recuperar para comparar.

Ao usar o MLflow para consultar as suas execuções, refere-se a experimentos e execuções.

Pesquisa todas as experiências

Pode obter todas as experiências ativas no espaço de trabalho usando o MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Se quiseres também recuperar experiências arquivadas, então inclui a opção ViewType.ALL:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Para recuperar um experimento específico, pode executar:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Corridas de recuperação

O MLflow permite-lhe pesquisar execuções dentro de qualquer experimento. Precisas do ID do experimento ou do nome do experimento.

Por exemplo, quando quiser recuperar as métricas de uma sequência específica:

mlflow.search_runs(exp.experiment_id)

Pode pesquisar execuções em várias experiências, se necessário, isto é útil quando se quer comparar execuções do mesmo modelo em diferentes experiências. Por exemplo, pessoas diferentes ou iterações de projetos diferentes podem registar o mesmo modelo em experiências separadas.

Podes usar search_all_experiments=True se quiseres pesquisar em todos os experimentos no espaço de trabalho.

Por defeito, os experimentos são ordenados descendentemente por start_time, que é o momento em que o experimento foi colocado em fila no Azure Machine Learning. No entanto, você pode alterar esse padrão usando o parâmetro order_by.

Por exemplo, se quiser ordenar por hora de início e mostrar apenas os dois últimos resultados:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

Também pode procurar uma sequência com uma combinação específica nos hiperparâmetros:

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)