Rapporti di test

Queste funzionalità richiedono l'installazione di pacchetti NuGet aggiuntivi, come descritto in ogni sezione.

Nomi file del report

Ogni estensione del report scrive il file nella directory dei risultati del test, che è possibile impostare con l'opzione --results-directory . Per eseguire l'override del nome, usare l'opzione corrispondente --report-*-filename . Ogni sezione del report elenca il nome predefinito per il report.

Un nome file può includere un percorso relativo che rimane all'interno della directory dei risultati del test e può usare i seguenti elementi di sostituzione (segnaposto):

Ad esempio, --report-trx-filename "{asm}_{tfm}_{arch}.trx" riproduce il nome TRX predefinito.

Consolidamento dei report

A partire dalla versione 2.4.0 di MTP, MTP esegue automaticamente la post-elaborazione degli artefatti del report dopo che un'invocazione dotnet test esegue più moduli di test o dopo che il supporto per i nuovi tentativi esegue più tentativi. La funzionalità è sperimentale in MTP 2.4.0.

Le estensioni TRX, JUnit, CTRF e HTML raggruppano gli artefatti compatibili in base al tipo di report e scrivono un report consolidato nella sottodirectory merged della directory dei risultati dei test. Il consolidamento CTRF combina i risultati del modulo e raggruppa i tentativi di riesecuzione nel risultato finale del test con la relativa cronologia. Il consolidamento HTML crea un riepilogo unito e mantiene i report originali per processo.

Per le estensioni di report personalizzati, l'API sperimentale IArtifactPostProcessor espone modalità di elaborazione separate RetryAttempts e TestModules. Per altre informazioni, vedere EstensioniIArtifactPostProcessor.

Report di test di Visual Studio (TRX)

Il file dei risultati del test Visual Studio (o TRX) è il formato predefinito per la pubblicazione dei risultati dei test. Questa estensione richiede il pacchetto NuGet Microsoft.Testing.Extensions.TrxReport .

Registrazione manuale

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddTrxReportProvider();

Options

Il report viene salvato all'interno della cartella predefinita TestResults che può essere specificata tramite l'argomento della riga di comando --results-directory.

Report in HTML

Il report HTML crea un file HTML interattivo e autonomo per una sessione di test. Questa estensione richiede il pacchetto NuGet Microsoft.Testing.Extensions.HtmlReport.

Registrazione manuale

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddHtmlReportProvider();

Options

Report JUnit

Il report JUnit crea un file XML compatibile con JUnit per una sessione di test. Questa estensione richiede il pacchetto NuGet Microsoft.Testing.Extensions.JUnitReport.

Registrazione manuale

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddJUnitReportProvider();

Options

Rapporti CTRF

Il report CTRF crea un file JSON che usa Common Test Report Format per una sessione di test. Questa estensione richiede il pacchetto NuGet Microsoft.Testing.Extensions.CtrfReport.

Registrazione manuale

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddCtrfReportProvider();

Options

A partire da MSTest 4.4, i risultati CTRF per i test rieseguiti includono i campi retries e retryAttempts. Quando un test ha esito positivo dopo un precedente tentativo non riuscito, il relativo risultato include anche flaky: true. Il riepilogo nel terminale identifica i test instabili e quelli rieseguiti. I report TRX e JUnit mantengono un risultato finale per ogni test anziché registrare ogni tentativo.

I report di Azure DevOps

Azure DevOps plugin di report migliora l'esecuzione dei test per gli sviluppatori che ospitano il codice su GitHub, ma compilano su agenti di compilazione di Azure DevOps. Aggiunge informazioni aggiuntive ai guasti per mostrare il problema direttamente nella pull request di GitHub.

annotazione

Questa estensione richiede il pacchetto NuGet Microsoft.Testing.Extensions.AzureDevOpsReport .

Registrazione manuale

var builder = await TestApplication.CreateBuilderAsync(args);
builder.TestHost.AddAzureDevOpsProvider();

Options

L'estensione rileva automaticamente che è in esecuzione nell'ambiente di integrazione continua (CI) controllando la TF_BUILD variabile di ambiente.

A partire da MTP 2.4.0, Azure DevOps Markdown riepiloga i risultati aggregati in ogni modulo di test in una dotnet test chiamata. Quando si abilita anche il code coverage, il riepilogo include conteggi coperti e totali, percentuali, risultati di soglia e un indicatore quando i dati di copertura sono parziali.

Report di GitHub Actions

Il report GitHub Actions genera comandi di workflow nativi di GitHub Actions, in modo che le esecuzioni dei test offrano un'esperienza ottimale sul runner: gruppi di log per assembly, annotazioni per i test non riusciti e ignorati (visibili nella scheda Annotations del workflow e, quando la posizione del codice sorgente può essere risolta, nel diff della scheda Files changed della pull request), un riepilogo del job in Markdown aggiunto al file a cui fa riferimento GITHUB_STEP_SUMMARY, e avvisi sui test lenti.

Questa estensione richiede il pacchetto NuGet Microsoft.Testing.Extensions.GitHubActionsReport.

L'estensione viene attivata solo quando l'esecuzione è in GitHub Actions (la GITHUB_ACTIONS variabile di ambiente è true) e l'opzione --report-gh è impostata; in caso contrario, non esegue alcuna operazione. Quando attiva, ogni funzionalità è abilitata per impostazione predefinita e può essere disattivata singolarmente con la relativa --report-gh-* opzione.

Registrazione manuale

var builder = await TestApplication.CreateBuilderAsync(args);
builder.AddGitHubActionsProvider();

Options

A partire da MTP 2.4.0, GitHub Actions markdown riepiloga i risultati aggregati in ogni modulo di test in una dotnet test chiamata. Quando si abilita anche la copertura del codice, selezionare coverage o all per includere il numero di elementi coperti e il totale, le percentuali, i risultati delle soglie e un indicatore che segnala quando i dati di copertura sono parziali.