Wyświetlanie metryk i ocenianie modeli

Po wytrenowanych i śledzonych modelach za pomocą biblioteki MLflow w usłudze Azure Machine Learning możesz eksplorować metryki i oceniać modele.

• Przejrzyj metryki w usłudze Azure Machine Learning Studio.
• Uzyskaj przebiegi i metryki za pomocą biblioteki MLflow.

Wyświetlanie metryk w usłudze Azure Machine Learning Studio

Po zakończeniu zadania możesz przejrzeć zarejestrowane parametry, metryki i artefakty w usłudze Azure Machine Learning Studio.

Podczas przeglądania przebiegów zadań w usłudze Azure Machine Learning Studio eksplorujesz metryki przebiegu zadania, które są częścią eksperymentu.

Aby wyświetlić metryki za pomocą intuicyjnego interfejsu użytkownika, możesz:

1. Otwórz program Studio, przechodząc do strony https://ml.azure.com.
2. Znajdź przebieg eksperymentu i otwórz go, aby wyświetlić jego szczegóły.
3. Na karcie Szczegóły wszystkie zarejestrowane parametry są wyświetlane w obszarze Parametry.
4. Wybierz kartę Metryki i wybierz metrykę, którą chcesz eksplorować.
5. Wszystkie wykresy rejestrowane jako artefakty można znaleźć w obszarze Obrazy.
6. Zasoby modelu, których można użyć do rejestrowania i wdrażania modelu, są przechowywane w folderze models w obszarze Dane wyjściowe i dzienniki.

Pobieranie metryk za pomocą biblioteki MLflow w notesie

Po uruchomieniu skryptu szkoleniowego jako zadania w usłudze Azure Machine Learning i śledzeniu trenowania modelu za pomocą biblioteki MLflow możesz wykonywać zapytania dotyczące przebiegów w notesie przy użyciu biblioteki MLflow. Korzystanie z biblioteki MLflow w notesie zapewnia większą kontrolę nad przebiegami, które chcesz pobrać do porównania.

W przypadku używania biblioteki MLflow do wykonywania zapytań dotyczących przebiegów można odwoływać się do eksperymentów i przebiegów.

Przeszukaj wszystkie eksperymenty

Wszystkie aktywne eksperymenty w obszarze roboczym można pobrać przy użyciu biblioteki MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Jeśli chcesz również pobrać zarchiwizowane eksperymenty, dołącz opcję ViewType.ALL:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Aby pobrać konkretny eksperyment, możesz uruchomić następującą komendę:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Pobierz przebiegi

Platforma MLflow umożliwia wyszukiwanie przebiegów wewnątrz dowolnego eksperymentu. Potrzebujesz identyfikatora eksperymentu lub nazwy eksperymentu.

Jeśli na przykład chcesz pobrać metryki określonego przebiegu:

mlflow.search_runs(exp.experiment_id)

W razie potrzeby można wyszukiwać przebiegi w wielu eksperymentach, co jest przydatne, gdy chcesz porównać przebiegi tego samego modelu w różnych eksperymentach. Na przykład różne osoby lub różne iteracji projektu mogą rejestrować ten sam model w oddzielnych eksperymentach.

Możesz użyć search_all_experiments=True, jeśli chcesz przeszukiwać wszystkie eksperymenty w obszarze roboczym.

Domyślnie eksperymenty są uporządkowane malejąco według start_time, czyli czasu, w którym eksperyment został w kolejce w usłudze Azure Machine Learning. Można jednak zmienić tę wartość domyślną przy użyciu parametru order_by.

Jeśli na przykład chcesz sortować według czasu rozpoczęcia i wyświetlać tylko dwa ostatnie wyniki:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

Możesz również wyszukać przebieg z określoną kombinacją w hiperparametrach:

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)