Śledzenie metryk za pomocą biblioteki MLflow

Ukończone

Wskazówka

Aby uzyskać więcej szczegółów, zobacz kartę Tekst i obrazy .

Podczas trenowania modelu za pomocą skryptu możesz dołączyć bibliotekę MLflow do skryptów w celu śledzenia dowolnych parametrów, metryk i artefaktów. Po uruchomieniu skryptu jako zadania w usłudze Azure Machine Learning możesz przejrzeć wszystkie parametry wejściowe i dane wyjściowe dla każdego przebiegu.

Zrozumieć MLflow

MLflow to platforma typu open source przeznaczona do zarządzania pełnym cyklem życia uczenia maszynowego. Jako że jest to open source, można go używać podczas trenowania modeli na różnych platformach. W tym miejscu dowiesz się, jak możemy zintegrować rozwiązanie MLflow z zadaniami usługi Azure Machine Learning.

Istnieją dwie opcje śledzenia zadań uczenia maszynowego za pomocą biblioteki MLflow:

  • Włączanie automatycznego rejestrowania przy użyciu mlflow.autolog()
  • Użyj funkcji rejestrowania do śledzenia metryk niestandardowych przy użyciu mlflow.log_*

Aby można było użyć jednej z tych opcji, należy skonfigurować środowisko do korzystania z biblioteki MLflow.

Dołączanie biblioteki MLflow do środowiska

Aby używać MLflow podczas procesu trenowania, pakiety mlflow i azureml-mlflow pip muszą być zainstalowane na maszynie wykonującej skrypt. W związku z tym należy uwzględnić te dwa pakiety w środowisku. Środowisko można utworzyć, odwołując się do pliku YAML opisującego środowisko Conda. W ramach środowiska Conda można uwzględnić te dwa pakiety.

Na przykład, w tym niestandardowym środowisku mlflow i azureml-mlflow są instalowane przy użyciu narzędzia pip:

name: mlflow-env
channels:
  - conda-forge
dependencies:
  - python=3.10
  - pip
  - pip:
    - numpy
    - pandas
    - scikit-learn
    - matplotlib
    - mlflow
    - azureml-mlflow

Po zdefiniowaniu i zarejestrowaniu środowiska pamiętaj, aby odwoływać się do niego podczas przesyłania zadania.

Włącz automatyczne rejestrowanie

Podczas pracy z jedną z popularnych bibliotek uczenia maszynowego można włączyć automatyczne rejestrowanie w usłudze MLflow. Automatyczne rejestrowanie parametrów, metryk i artefaktów modelu bez konieczności określania, co należy zarejestrować.

Automatyczne rejestrowanie jest obsługiwane w następujących bibliotekach:

  • Scikit-learn
  • TensorFlow i Keras
  • XGBoost
  • LightGBM
  • Spark
  • Fastai
  • Pytorch

Aby włączyć automatyczne rejestrowanie, dodaj następujący kod do skryptu trenowania:

import mlflow

mlflow.autolog()

Logowanie metryk za pomocą MLflow

W skrycie szkoleniowym możesz zdecydować, jaka metryka niestandardowa ma być rejestrowana za pomocą biblioteki MLflow.

W zależności od typu wartości, którą chcesz zarejestrować, użyj polecenia MLflow do przechowywania metryki przy użyciu przebiegu eksperymentu:

  • mlflow.log_param(): Rejestruje pojedynczy parametr klucz-wartość. Użyj tej funkcji dla parametru wejściowego, który chcesz zarejestrować.
  • mlflow.log_metric(): Rejestrowanie metryki pojedynczej wartości klucza. Wartość musi być liczbą. Użyj tej funkcji dla wszystkich danych wyjściowych, które chcesz przechowywać w przebiegu.
  • mlflow.log_figure(): Zarejestruj rysunek matplotlib bezpośrednio jako artefakt. Ta funkcja służy do rejestrowania wykresów bez wcześniejszego zapisywania ich na dysku.
  • mlflow.log_image(): Zarejestruj obiekt obrazu numpy lub PIL jako artefakt. Ta funkcja służy do rejestrowania obrazów bezpośrednio bez wcześniejszego zapisywania ich na dysku.

Aby dodać bibliotekę MLflow do istniejącego skryptu szkoleniowego, możesz dodać następujący kod:

import mlflow

reg_rate = 0.1
mlflow.log_param("Regularization rate", reg_rate)

Wskazówka

Aby zapoznać się z pełnym omówieniem sposobu korzystania ze śledzenia platformy MLflow, przeczytaj dokumentację platformy MLflow.

Przesyłanie zadania

Na koniec musisz przesłać skrypt szkoleniowy jako zadanie w usłudze Azure Machine Learning. W przypadku używania biblioteki MLflow w skrypcie trenowania wszystkie śledzone parametry, metryki i artefakty są przechowywane podczas wykonywania zadania. Można je przejrzeć dla każdego przebiegu po przesłaniu zadania.

Konfigurujesz zadanie jak zwykle. Musisz tylko upewnić się, że środowisko, do którego odwołujesz się w zadaniu, zawiera niezbędne pakiety, a skrypt opisuje metryki, które chcesz rejestrować.