Metrische gegevens weergeven en modellen evalueren

Nadat u modellen hebt getraind en bijgehouden met MLflow in Azure Machine Learning, kunt u de metrische gegevens verkennen en uw modellen evalueren.

• Bekijk metrische gegevens in Azure Machine Learning Studio.
• Uitvoeringen en metrische gegevens ophalen met MLflow.

De metrische gegevens weergeven in Azure Machine Learning Studio

Wanneer uw taak is voltooid, kunt u de vastgelegde parameters, metrische gegevens en artefacten bekijken in Azure Machine Learning Studio.

Wanneer u taakuitvoeringen bekijkt in Azure Machine Learning Studio, verkent u de metrische gegevens van een taakuitvoering, die deel uitmaakt van een experiment.

Als u de metrische gegevens wilt weergeven via een intuïtieve gebruikersinterface, kunt u het volgende doen:

1. Open de Studio door te navigeren naar https://ml.azure.com.
2. Zoek de experimentuitvoering en open deze om de details ervan weer te geven.
3. Op het tabblad Details worden alle vastgelegde parameters weergegeven onder Params.
4. Selecteer het tabblad Metrische gegevens en selecteer de metrische waarde die u wilt verkennen.
5. Eventuele plots die als artefacten worden geregistreerd, vindt u onder Afbeeldingen.
6. De modelassets die kunnen worden gebruikt om het model te registreren en te implementeren, worden opgeslagen in de map Modellen onder Uitvoer en logboeken.

Metrische gegevens ophalen met MLflow in een notebook

Wanneer u een trainingsscript uitvoert als een taak in Azure Machine Learning en uw modeltraining bijhoudt met MLflow, kunt u een query uitvoeren op de uitvoeringen in een notebook met behulp van MLflow. Als u MLflow in een notebook gebruikt, hebt u meer controle over welke uitvoeringen u wilt ophalen om te vergelijken.

Wanneer u MLflow gebruikt om query's uit te voeren op uw uitvoeringen, verwijst u naar experimenten en uitvoeringen.

Alle experimenten doorzoeken

U kunt alle actieve experimenten in de werkruimte ophalen met behulp van MLFlow:

experiments = mlflow.search_experiments(max_results=2)
for exp in experiments:
    print(exp.name)

Als u ook gearchiveerde experimenten wilt ophalen, neemt u de optie ViewType.ALLop:

from mlflow.entities import ViewType

experiments = mlflow.search_experiments(view_type=ViewType.ALL)
for exp in experiments:
    print(exp.name)

Als u een specifiek experiment wilt ophalen, kunt u het volgende uitvoeren:

exp = mlflow.get_experiment_by_name(experiment_name)
print(exp)

Uitvoeringen ophalen

Met MLflow kunt u zoeken naar uitvoeringen binnen elk experiment. U hebt de experiment-id of de naam van het experiment nodig.

Als u bijvoorbeeld de metrische gegevens van een specifieke uitvoering wilt ophalen:

mlflow.search_runs(exp.experiment_id)

U kunt indien nodig zoeken naar uitvoeringen voor meerdere experimenten. Dit is handig als u uitvoeringen van hetzelfde model in verschillende experimenten wilt vergelijken. Verschillende personen of verschillende projectiteraties kunnen bijvoorbeeld hetzelfde model registreren in afzonderlijke experimenten.

U kunt search_all_experiments=True gebruiken als u in alle experimenten in de werkruimte wilt zoeken.

Experimenten worden standaard aflopend start_timegerangschikt. Dit is het tijdstip waarop het experiment in de wachtrij is geplaatst in Azure Machine Learning. U kunt deze standaardinstelling echter wijzigen met behulp van de parameter order_by.

Als u bijvoorbeeld wilt sorteren op begintijd en alleen de laatste twee resultaten wilt weergeven:

mlflow.search_runs(exp.experiment_id, order_by=["start_time DESC"], max_results=2)

U kunt ook zoeken naar een uitwerking met een specifieke combinatie van hyperparameters.

mlflow.search_runs(
    exp.experiment_id, filter_string="params.num_boost_round='100'", max_results=2
)