Sprache

AutoMLExperiment Klasse

Definition

Die Klasse für das AutoML-Experiment

public class AutoMLExperiment
type AutoMLExperiment = class
Public Class AutoMLExperiment
Vererbung
AutoMLExperiment

Beispiele

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.ML.Data;

namespace Microsoft.ML.AutoML.Samples
{
    public static class AutoMLExperiment
    {
        public static async Task RunAsync()
        {
            var seed = 0;

            // Create a new context for ML.NET operations. It can be used for
            // exception tracking and logging, as a catalog of available operations
            // and as the source of randomness. Setting the seed to a fixed number
            // in this example to make outputs deterministic.
            var context = new MLContext(seed);

            // Create a list of training data points and convert it to IDataView.
            var data = GenerateRandomBinaryClassificationDataPoints(100, seed);
            var dataView = context.Data.LoadFromEnumerable(data);

            var trainTestSplit = context.Data.TrainTestSplit(dataView);

            // Define the sweepable pipeline using predefined binary trainers and search space.
            var pipeline = context.Auto().BinaryClassification(labelColumnName: "Label", featureColumnName: "Features");

            // Create an AutoML experiment
            var experiment = context.Auto().CreateExperiment();

            // Redirect AutoML log to console
            context.Log += (object o, LoggingEventArgs e) =>
            {
                if (e.Source == nameof(AutoMLExperiment) && e.Kind > Runtime.ChannelMessageKind.Trace)
                {
                    Console.WriteLine(e.RawMessage);
                }
            };

            // Config experiment to optimize "Accuracy" metric on given dataset.
            // This experiment will run hyper-parameter optimization on given pipeline
            experiment.SetPipeline(pipeline)
                      .SetDataset(trainTestSplit.TrainSet, fold: 5) // use 5-fold cross validation to evaluate each trial
                      .SetBinaryClassificationMetric(BinaryClassificationMetric.Accuracy, "Label")
                      .SetMaxModelToExplore(100); // explore 100 trials

            // start automl experiment
            var result = await experiment.RunAsync();

            // Expected output samples during training:
            //      Update Running Trial - Id: 0
            //      Update Completed Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary - Duration: 595 - Peak CPU: 0.00 % -Peak Memory in MB: 35.81
            //      Update Best Trial - Id: 0 - Metric: 0.5536912515402218 - Pipeline: FastTreeBinary

            // evaluate test dataset on best model.
            var bestModel = result.Model;
            var eval = bestModel.Transform(trainTestSplit.TestSet);
            var metrics = context.BinaryClassification.Evaluate(eval);

            PrintMetrics(metrics);

            // Expected output:
            //  Accuracy: 0.67
            //  AUC: 0.75
            //  F1 Score: 0.33
            //  Negative Precision: 0.88
            //  Negative Recall: 0.70
            //  Positive Precision: 0.25
            //  Positive Recall: 0.50

            //  TEST POSITIVE RATIO: 0.1667(2.0 / (2.0 + 10.0))
            //  Confusion table
            //            ||======================
            //  PREDICTED || positive | negative | Recall
            //  TRUTH     ||======================
            //   positive || 1 | 1 | 0.5000
            //   negative || 3 | 7 | 0.7000
            //            ||======================
            //  Precision || 0.2500 | 0.8750 |
        }

        private static IEnumerable<BinaryClassificationDataPoint> GenerateRandomBinaryClassificationDataPoints(int count,
            int seed = 0)

        {
            var random = new Random(seed);
            float randomFloat() => (float)random.NextDouble();
            for (int i = 0; i < count; i++)
            {
                var label = randomFloat() > 0.5f;
                yield return new BinaryClassificationDataPoint
                {
                    Label = label,
                    // Create random features that are correlated with the label.
                    // For data points with false label, the feature values are
                    // slightly increased by adding a constant.
                    Features = Enumerable.Repeat(label, 50)
                        .Select(x => x ? randomFloat() : randomFloat() +
                        0.1f).ToArray()

                };
            }
        }

        // Example with label and 50 feature values. A data set is a collection of
        // such examples.
        private class BinaryClassificationDataPoint
        {
            public bool Label { get; set; }

            [VectorType(50)]
            public float[] Features { get; set; }
        }

        // Class used to capture predictions.
        private class Prediction
        {
            // Original label.
            public bool Label { get; set; }
            // Predicted label from the trainer.
            public bool PredictedLabel { get; set; }
        }

        // Pretty-print BinaryClassificationMetrics objects.
        private static void PrintMetrics(BinaryClassificationMetrics metrics)
        {
            Console.WriteLine($"Accuracy: {metrics.Accuracy:F2}");
            Console.WriteLine($"AUC: {metrics.AreaUnderRocCurve:F2}");
            Console.WriteLine($"F1 Score: {metrics.F1Score:F2}");
            Console.WriteLine($"Negative Precision: " +
                $"{metrics.NegativePrecision:F2}");

            Console.WriteLine($"Negative Recall: {metrics.NegativeRecall:F2}");
            Console.WriteLine($"Positive Precision: " +
                $"{metrics.PositivePrecision:F2}");

            Console.WriteLine($"Positive Recall: {metrics.PositiveRecall:F2}\n");
            Console.WriteLine(metrics.ConfusionMatrix.GetFormattedConfusionTable());
        }
    }
}

Konstruktoren

Name Beschreibung
AutoMLExperiment(MLContext, AutoMLExperiment+AutoMLExperimentSettings)

Die Klasse für das AutoML-Experiment

Methoden

Name Beschreibung
AddSearchSpace(String, SearchSpace)

Die Klasse für das AutoML-Experiment

Run()

Führen Sie Experiment aus, und geben Sie das beste Testergebnis synchronisiert zurück.

RunAsync(CancellationToken)

Führen Sie Experiment aus, und geben Sie das beste Testergebnis asynchronisiert zurück. Das Experiment gibt das aktuelle beste Testergebnis zurück, wenn eine Testversion abgeschlossen ist, wenn ct sie abgebrochen wird, und gibt TimeoutException die Meldung "Schulungszeit abgeschlossen, ohne einen Testlauf abzuschließen" zurück, wenn keine Testversion abgeschlossen wurde. Eine weitere Notwendigkeit muss beachten, dass diese Funktion nach dem Abbrechen nicht sofort zurückgegeben ct wird. Stattdessen wird aufgerufen Microsoft.ML.MLContext.CancelExecution , alle Schulungsprozesse abzubrechen und zu warten, ob alle laufenden Testversionen abgebrochen oder abgeschlossen werden.

SetMaximumMemoryUsageInMegaByte(Double)

Die Klasse für das AutoML-Experiment

SetMaxModelToExplore(Int32)

Die Klasse für das AutoML-Experiment

SetMonitor<TMonitor>()

Die Klasse für das AutoML-Experiment

SetMonitor<TMonitor>(Func<IServiceProvider,TMonitor>)

Die Klasse für das AutoML-Experiment

SetMonitor<TMonitor>(TMonitor)

Die Klasse für das AutoML-Experiment

SetTrainingTimeInSeconds(UInt32)

Die Klasse für das AutoML-Experiment

SetTrialRunner<TTrialRunner>()

Die Klasse für das AutoML-Experiment

SetTrialRunner<TTrialRunner>(Func<IServiceProvider,TTrialRunner>)

Die Klasse für das AutoML-Experiment

SetTrialRunner<TTrialRunner>(TTrialRunner)

Die Klasse für das AutoML-Experiment

SetTuner<TTuner>()

Die Klasse für das AutoML-Experiment

SetTuner<TTuner>(Func<IServiceProvider,TTuner>)

Die Klasse für das AutoML-Experiment

SetTuner<TTuner>(TTuner)

Die Klasse für das AutoML-Experiment

Erweiterungsmethoden

Name Beschreibung
SetBinaryClassificationMetric(AutoMLExperiment, BinaryClassificationMetric, String, String)

Als Microsoft.ML.AutoML.BinaryMetricManager Auswertungs-Manager für AutoMLExperiment. Dies wird AutoMLExperiment als Auswertungsmetrik verwendet metric .

SetCheckpoint(AutoMLExperiment, String)

Legen Sie den Prüfpunktordner für AutoMLExperiment. Der Prüfpunktordner wird verwendet, um temporäre Ausgabe, Ausführungsverlauf und viele andere Dinge zu speichern, die zum Wiederherstellen des Schulungsvorgangs vom letzten Prüfpunkt und zum Fortsetzen der Schulung verwendet werden.

SetCostFrugalTuner(AutoMLExperiment)

Legen Sie als Tuner für die Hyperparameteroptimierung fest Microsoft.ML.AutoML.CostFrugalTuner .

SetDataset(AutoMLExperiment, DataOperationsCatalog+TrainTestData)

Festlegen des Train- und Validation-Datasets für AutoMLExperiment. Dies wird AutoMLExperiment dazu verwendet trainValidationSplitTrainSet, um ein Modell zu trainieren und TestSet aus trainValidationSplit der Auswertung des Modells zu verwenden.

SetDataset(AutoMLExperiment, IDataView, IDataView, Boolean)

Festlegen des Train- und Validation-Datasets für AutoMLExperiment. Dies wird AutoMLExperiment dazu verwendet train , ein Modell zu trainieren und validation das Modell auszuwerten.

SetDataset(AutoMLExperiment, IDataView, IDataView)

Die Klasse für das AutoML-Experiment

SetDataset(AutoMLExperiment, IDataView, Int32, String)

Set cross-validation dataset for AutoMLExperiment. Dadurch wird AutoMLExperiment n=fold Kreuzüberprüfungsteilung dataset verwendet, um ein Modell zu trainieren und auszuwerten.

SetDataset(AutoMLExperiment, IDataView, Int32)

Die Klasse für das AutoML-Experiment

SetEciCostFrugalTuner(AutoMLExperiment)

als Tuner für die Hyperparameteroptimierung festgelegt Microsoft.ML.AutoML.EciCostFrugalTuner . Dieser Tuner funktioniert nur mit suchbereich von SweepablePipeline.

SetGridSearchTuner(AutoMLExperiment, Int32)

als Tuner für die Hyperparameteroptimierung festgelegt Microsoft.ML.AutoML.GridSearchTuner .

SetMulticlassClassificationMetric(AutoMLExperiment, MulticlassClassificationMetric, String, String)

Als Microsoft.ML.AutoML.MultiClassMetricManager Auswertungs-Manager für AutoMLExperiment. Dies wird AutoMLExperiment als Auswertungsmetrik verwendet metric .

SetPerformanceMonitor(AutoMLExperiment, Int32)

Set DefaultPerformanceMonitor as IPerformanceMonitor for AutoMLExperiment.

SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment, Func<IServiceProvider,TPerformanceMonitor>)

Legen Sie einen benutzerdefinierten Leistungsmonitor wie IPerformanceMonitor für AutoMLExperiment.

SetPerformanceMonitor<TPerformanceMonitor>(AutoMLExperiment)

Legen Sie einen benutzerdefinierten Leistungsmonitor wie IPerformanceMonitor für AutoMLExperiment.

SetPipeline(AutoMLExperiment, SweepablePipeline)

Für Schulungen festgelegt pipeline . Dies macht AutoMLExperiment auch Nutzungen Microsoft.ML.AutoML.SweepablePipelineRunnerMicrosoft.ML.AutoML.MLContextMonitor und Microsoft.ML.AutoML.EciCostFrugalTuner auch für automl traininng.

SetRandomSearchTuner(AutoMLExperiment, Nullable<Int32>)

als Tuner für die Hyperparameteroptimierung festgelegt Microsoft.ML.AutoML.RandomSearchTuner . Wenn seed angegeben, wird dieser Seed verwendet, um sie zu initialisieren Microsoft.ML.AutoML.RandomSearchTuner. Seed Andernfalls wird verwendet.

SetRegressionMetric(AutoMLExperiment, RegressionMetric, String, String)

Als Microsoft.ML.AutoML.RegressionMetricManager Auswertungs-Manager für AutoMLExperiment. Dies wird AutoMLExperiment als Auswertungsmetrik verwendet metric .

SetSmacTuner(AutoMLExperiment, Int32, Int32, Int32, Int32, Single, Int32, Int32, Double, Int32)

Legen Sie als Tuner für die Hyperparameteroptimierung fest Microsoft.ML.AutoML.SmacTuner . Die Leistung von Smac befindet sich in einer großen Erweiterung, die durch numberOfTreesnMinForSpit , und splitRatio, die verwendet werden, um den inneren Regressor von smac zu passen.

Gilt für: