Valutare e confrontare i modelli

Al termine di un esperimento di Machine Learning automatizzato (AutoML), è necessario esaminare i modelli sottoposti a training e decidere quale è stato eseguito meglio.

In Azure Machine Learning Studio è possibile selezionare un esperimento AutoML per esplorarne i dettagli.

Nella pagina panoramica dell'esecuzione dell'esperimento AutoML è possibile esaminare l'asset di dati di input e il riepilogo del modello migliore. Per esplorare tutti i modelli sottoposti a training, è possibile selezionare la scheda Modelli:

Esplorare i passaggi di pre-elaborazione

Quando è stata abilitata la definizione delle funzionalità per l'esperimento AutoML, anche le protezioni dei dati verranno applicate automaticamente. I tre tipi di protezione dati supportati per i modelli di classificazione sono:

• Rilevamento bilanciamento classi.
• Imputazione di valori di funzionalità mancanti.
• Rilevamento funzionalità ad alta cardinalità.

Ognuno di questi tipi di protezione dati mostrerà uno dei tre possibili stati:

• Superato: non è stato rilevato alcun problema e non è richiesta alcuna azione.
• Completato: le modifiche sono state applicate ai dati. È consigliabile esaminare le modifiche apportate da AutoML ai dati.
• Con avvisi: è stato rilevato un problema, ma non è stato possibile correggerlo. È consigliabile esaminare i dati per risolvere il problema.

Accanto alle protezioni dei dati, AutoML può applicare tecniche di ridimensionamento e normalizzazione a ogni modello sottoposto a training. È possibile esaminare la tecnica applicata nell’elenco dei modelli sotto il nome dell'algoritmo .

Ad esempio, il nome dell'algoritmo di un modello elencato può essere MaxAbsScaler, LightGBM. MaxAbsScaler fa riferimento a una tecnica di ridimensionamento in cui ogni funzionalità viene ridimensionata in base al valore assoluto massimo. LightGBM fa riferimento all'algoritmo di classificazione usato per eseguire il training del modello.

Recuperare l'esecuzione migliore e il relativo modello

Quando si esaminano i modelli in AutoML, è possibile identificare facilmente l'esecuzione migliore in base alla metrica primaria specificata. In Azure Machine Learning Studio i modelli vengono ordinati automaticamente per mostrare il modello con prestazioni migliori nella parte superiore.

Nella scheda modelli dell'esperimento AutoML è possibile modificare le colonne se si desidera visualizzare altre metriche nella stessa panoramica. Creando una panoramica più completa che include varie metriche, potrebbe essere più semplice confrontare i modelli.

Per esplorare ulteriormente un modello, è possibile generare spiegazioni per ogni modello sottoposto a training. Quando si configura un esperimento AutoML, è possibile specificare che le spiegazioni devono essere generate per il modello con prestazioni migliori. Se tuttavia si è interessati all'interpretazione di un altro modello, è possibile selezionare il modello nella panoramica e selezionare Spiegare il modello.