Autologning i Data Science

Denne artikel beskriver autologning i Data Science.

Ved at bruge autologning har du brug for betydeligt mindre kode til automatisk at logge parametre, metrikker og elementer i en maskinlæringsmodel under træning.

Autologging udvider MLflow-sporingsmulighederne og er dybt integreret i Data Science-arbejdsbyrden.

Autologging kan fange metrikker som nøjagtighed, tab, F1-score og brugerdefinerede målinger, du definerer. Ved hjælp af autologging kan udviklere og datateknikere nemt spore og sammenligne ydeevnen af forskellige modeller og eksperimenter uden manuel sporing.

Understøttede strukturer

Autologging understøtter en bred vifte af maskinlæringsframeworks, herunder TensorFlow, PyTorch, scikit-learn og XGBoost. Du kan få mere at vide om de strukturspecifikke egenskaber, der registreres automatisk, i dokumentationen til MLflow.

Konfiguration

Autologging fungerer under træning til automatisk at indfange værdierne af en maskinlæringsmodels inputparametre, outputmetrikker og outputelementer. Disse oplysninger logges i dit Microsoft Fabric-arbejdsområde, hvor du kan få adgang til og visualisere det ved at bruge MLflow API'erne eller de tilsvarende eksperiment- og modelelementer i dit Microsoft Fabric-arbejdsområde.

Når du åbner en Data Science-notesbog, kalder mlflow.autolog() Microsoft Fabric øjeblikkeligt sporing og indlæser de tilsvarende afhængigheder. Når du træner modeller i din notesbog, sporer MLflow automatisk modelinformation.

Konfigurationen sker automatisk, når du kører import mlflow. Standardkonfigurationen for notesbogen mlflow.autolog() hook er:

mlflow.autolog(
    log_input_examples=False,
    log_model_signatures=True,
    log_models=True,
    log_datasets=True,
    log_traces=True,
    disable=False,
    exclusive=True,
    disable_for_unsupported_versions=True,
    silent=True,
    extra_tags=None,
    exclude_flavors=None
)

Tilpasning

For at tilpasse logningsadfærden, brug konfigurationen mlflow.autolog() . Denne konfiguration indeholder parametre, der aktiverer modellogføring, indsamler inputeksempler, konfigurerer advarsler eller aktiverer logføring for tilføjet indhold, som du angiver.

Spor flere målepunkter, parametre og egenskaber

For runs, du opretter ved at bruge MLflow, opdater MLflows autologing-konfiguration for at spore ekstra metrikker, parametre, filer og metadata:

1. Opdater opkaldet mlflow.autolog() til exclusive=False.

       mlflow.autolog(
       log_input_examples=False,
       log_model_signatures=True,
       log_models=True,
       log_datasets=True,
       log_traces=True,
       disable=False,
       exclusive=False, # Update this property to enable custom logging
       disable_for_unsupported_versions=True,
       silent=True,
       extra_tags=None,
       exclude_flavors=None
   )
   

2. Brug MLflow-tracking-API'erne til at logge ekstra parametre og metrikker. Følgende eksempelkode viser, hvordan du logger dine brugerdefinerede metrikker og parametre sammen med ekstra egenskaber.

   import mlflow
   mlflow.autolog(exclusive=False)
   
   with mlflow.start_run():
   mlflow.log_param("parameter name", "example value")
   # <add model training code here>
   mlflow.log_metric("metric name", 20)
   

Deaktiver Microsoft Fabric autologning

Du kan deaktivere Microsoft Fabric-autolog for en specifik notebook-session. Du kan også deaktivere automatisklogging på tværs af alle notesbøger ved hjælp af indstillingen for arbejdsområdet.

Deaktiver automatisk logning for en notesbogsession

For at deaktivere Microsoft Fabric autolog for en specifik notesbogssession, kald mlflow.autolog() og sæt disable=True.

import mlflow
mlflow.autolog(disable=True)

Deaktiver automatisk logning for alle notesbøger og sessioner

Arbejdsområdeadministratorer kan aktivere eller deaktivere Microsoft Fabric-autologning for alle notesbøger og sessioner i deres arbejdsområde ved at bruge arbejdsområdeindstillingerne.

For at aktivere eller deaktivere Data Science autologning:

1. Vælg Indstillinger for arbejdsområdei arbejdsområdet.

   

2. I Workspace-indstillinger udvid Data Engineering/Science i venstre menu og vælg Spark-indstillinger.

3. I Spark-indstillingerskal du vælge fanen Automatisk log .

4. Angiv Spor automatisk eksperimenter og modeller til maskinel indlæring for at ved eller fra.

5. Vælg Save.

   

Relateret indhold

• Byg en model til maskinel indlæring med Apache Spark MLlib-
• Maskinlæringseksperimenter i Microsoft Fabric
• MLflow 3 i Fabric Data Science