Visa mått och utvärdera modeller

När du har tränat och spårat modeller med MLflow i Azure Machine Learning kan du utforska måtten och utvärdera dina modeller.

• Granska mått i Azure Machine Learning Studio.
• Hämta körningar och mått med MLflow.

Visa metriken i Azure Machine Learning Studio

När jobbet är klart kan du granska de loggade parametrarna, måtten och artefakterna i Azure Machine Learning Studio.

När du granskar jobbkörningar i Azure Machine Learning Studio utforskar du mått för en jobbkörning, som är en del av ett experiment.

Om du vill visa måtten via ett intuitivt användargränssnitt kan du:

1. Öppna Studio genom att gå till https://ml.azure.com.
2. Leta upp experimentkörningen och öppna den för att visa dess detaljer.
3. På fliken Information visas alla loggade parametrar under Params.
4. Välj fliken Mått och välj det mått som du vill utforska.
5. Alla diagram som loggas som artefakter finns under Bilder.
6. De modelltillgångar som kan användas för att registrera och distribuera modellen lagras i mappen models under Utdata + loggar.

Hämta mått med MLflow i en notebook-fil

När du kör ett träningsskript som ett jobb i Azure Machine Learning och spårar modellträningen med MLflow kan du köra sökfrågor mot körningarna i en notebook-fil med hjälp av MLflow. Om du använder MLflow i en anteckningsbok får du mer kontroll över vilka körningar du vill hämta för jämförelse.

När du använder MLflow för att fråga dina körningar refererar du till experiment och körningar.

Sök i alla experiment

Du kan hämta alla aktiva experiment på arbetsytan med HJÄLP av MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Om du också vill hämta arkiverade experiment tar du med alternativet ViewType.ALL:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Om du vill hämta ett specifikt experiment kan du köra:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Hämta exekveringar

Med MLflow kan du söka efter körningar inom något experiment. Du behöver antingen experiment-ID:t eller experimentnamnet.

Om du till exempel vill hämta mätvärden för en specifik körning:

mlflow.search_runs(exp.experiment_id)

Du kan söka efter körningar i flera experiment om det behövs, vilket är användbart när du vill jämföra körningar av samma modell mellan olika experiment. Till exempel kan olika personer eller olika projekt-iterationer logga samma modell i separata experiment.

Du kan använda search_all_experiments=True om du vill söka i alla experiment på arbetsytan.

Experiment sorteras som standard i fallande ordning efter start_time, vilket är tiden då experimentet köades i Azure Machine Learning. Du kan dock ändra den här standardinställningen med hjälp av parametern order_by.

Om du till exempel vill sortera efter starttid och bara visa de två senaste resultaten:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

Du kan också söka efter en körning med en specifik kombination i hyperparametrar:

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)