Comandi di primo livello con BrainScript

Il comando train principale etesteval/sono descritti nella pagina Train, Test, Eval. Di seguito sono riportati altri comandi di primo livello.

Comando Adapt

Questo comando adatta un modello già sottoposto a training usando la regolarizzazione della divergenza KL. Si consiglia di eseguire tutti gli altri adattamenti utilizzando la modifica del modello. Il comando adapt è molto simile al comando train, ad eccezione del fatto che contiene altri due parametri:

  • originalModelFileName: nome del file del modello che verrà adattato.

  • refNodeName: nome del nodo nella rete di calcolo che verrà usato per la regolarizzazione della divergenza KL.

Curriculum Vitae

Questo comando valuta una serie di modelli da periodi diversi in un set di sviluppo (o convalida incrociata) e visualizza le informazioni del modello migliore. Oltre ai parametri usati per il comando di test, questo comando usa anche i parametri

  • crossValidationInterval: matrice di 3 numeri interi che identificano l'epoca iniziale, l'incremento dell'epoca e l'epoca finale da valutare. Ad esempio, 3:2:9 indica che i modelli 3,5,7 e 9 verranno valutati.

  • sleepTimeBetweenRuns: numero di secondi di attesa tra le esecuzioni. Questa operazione è necessaria solo se la GPU è troppo calda.

Comando Write

Questo comando scrive il valore di un nodo di output in un file. I parametri correlati sono

  • reader: blocco di configurazione del lettore per leggere i dati di input.

  • writer: blocco di configurazione del writer per determinare come scrivere i dati di output. Se questo valore non viene specificato, verrà usato il parametro outputPath.

  • minibatchSize: dimensioni del minibatch da usare per la lettura e l'elaborazione del set di dati.

  • epochSize: le dimensioni del set di dati. Il valore predefinito è 0. L'intero set di dati verrà valutato se è impostato su 0.

  • modelPath: percorso del modello da usare per calcolare l'output.

  • outputPath: percorso del file per scrivere l'output in un formato di testo. Se il blocco writer esiste, questo parametro verrà ignorato. OutputPath o writer deve esistere.

  • outputNodeNames: matrice di uno o più nomi di nodi di output da scrivere in un file.

Comando Modifica

Questo comando modifica un modello e salva il modello modificato nel file. Questa operazione è deprecata. I parametri associati sono:

  • editPath: percorso dello script MEL da eseguire.
  • ndlMacros: percorso del file di macro NDL che verrà caricato e usato nello script MEL.

Comando SVD

Questo comando esegue un'approssimazione di basso rango con la scomposizione SVD dei parametri appresi. La motivazione principale consiste nel factorizzare una matrice di peso con due matrici di rango inferiore per migliorare la velocità di inferenza, mantenendo al tempo stesso l'accuratezza. Per esempio:

svd = [
    action = "SVD"
    modelPath = "train\lstm.model.67"
    outputModelPath = "train\lstm.model.svd"
    SVDConfig = "nodeConfigs"
]

I blocchi di parametri associati sono:

  • modelPath: specifica dove caricare il modello iniziale.

  • outputModelPath: specifica dove salvare il modello modificato.

  • SVDConfig: un file di configurazione che specifica la modalità di esecuzione del file SVD per gruppi di nodi diversi. Questa configurazione è in formato a due colonne:

    <NodeNameRegex> <float>

La prima colonna è un'espressione regolare che corrisponderà al nome del nodo in un unico gruppo. La seconda colonna è un valore float che indica la percentuale di SVDstream che verrà mantenuta dopo SVD, dove SVD-energy viene definita come somma di valori singolari. Ad esempio, la configurazione

`LSTMoutput[1-3].Wx[ifco] 0.4`
`LSTMoutput[1-3].Wh[ifco] 0.6`

causerà una scomposizione SVD (0,4) più aggressiva per le connessioni non ricorrenti (da x a i,f,c,o gates) in LSTM e scomposizione SVD meno aggressiva per le connessioni ricorrenti (da h a i,f,c,o gates), dove i nomi dei parametri sono definiti nel linguaggio NDL.

Comando Dumpnode

Questo comando esegue il dump delle informazioni dei nodi in un file di output, che può essere eseguito anche in MEL con un maggiore controllo. I parametri correlati sono:

  • modelPath: percorso del file di modello contenente i nodi di cui eseguire il dump.

  • nodeName: nome del nodo da scrivere in un file. Se non specificato, verrà eseguito il dump di tutti i nodi.

  • nodeNameRegex: espressione regolare per i nomi dei nodi da scrivere in un file. Se specificato, il nodeName parametro viene ignorato.

  • outputFile: percorso del file di output. Se non viene specificato un nome di file, verrà generato automaticamente in base a modelPath.

  • printValues: determina se stampare i valori associati a un nodo se i valori del nodo sono persistenti nel modello. Il valore predefinito è vero.

  • printMetadata: determina se stampare i metadati (nome del nodo, dimensioni e così via) associati a un nodo. Il valore predefinito è vero.

Comando WriteWordAndClass (deprecato)

Questo comando legge i dati di training del testo, conta il numero di occorrenze di ogni parola nel set di training, ordina le parole nell'ordine decrescente dei conteggi, assegna a ogni parola un ID univoco, assegna ogni parola a una classe e genera un file di vocabolario a quattro colonne e un file di mappingto-id parola da usare da LMSequenceReader (deprecato) per eseguire il training dei modelli linguistici basati su classi. I parametri correlati sono:

  • inputFile: percorso del file di training del testo.

  • outputVocabFile: nome del file di vocabolario a quattro colonne generato. La prima colonna è l'ID parola, la seconda colonna è il conteggio della parola, la terza colonna è la parola e la quarta colonna è l'ID classe.

  • outputWord2Cls: percorso del file di mapping da parola a classe generato.

  • outputCls2Index: percorso del file di mapping da classe a wordId generato.

  • vocabSize: dimensioni del vocabolario desiderate.

  • nbrClass: numero desiderato di classi.

  • cutoff: conteggio dei tagli. Quando il conteggio di una parola è inferiore o uguale a questo valore, la parola verrà considerata come <unk>. Il valore predefinito è 2. Si noti che questo parametro viene usato solo se le dimensioni desiderate del vocabolario sono maggiori del numero effettivo di parole presenti nel set di training.

Comando CreateLabelMap

Spesso è facile creare manualmente il file di mapping delle etichette. In alcuni casi, tuttavia, si preferisce che il file di mapping delle etichette venga generato automaticamente, che è lo scopo del comando CreateLabelMap. Attualmente UCIFastReader è l'unico lettore che supporta questa azione. I parametri correlati sono

  • section: il nome del blocco di parametri (in genere un blocco di training) con il sottoblocdo lettore che verrà usato per generare il file di mapping delle etichette. Il file di mapping delle etichette generato verrà salvato nell'etichettaMappingFile specificata nel sottoblocmo lettore di questo blocco di parametri.

  • minibatchSize: dimensioni del minibatch da usare per la creazione del file di mapping delle etichette.

Comando DoEncoderDecoder

Le reti neurali possono essere usate per formare una catena di reti. Le prime reti possono funzionare come codificatori e le reti seguenti possono fungere da decodificatori. Un nodo speciale, PairNetworkNode, viene usato in ogni rete per gestire un socket da connettere da altre reti. I parametri correlati sono

  • section: codificatoreReader e decoderReader sono i lettori per codificatore e decodificatore. Analogamente per encoderCVReader e decoderCVReader per il set di convalida.

  • encoderNetworkBuilder e decoderNetworkBuilder: specificano il semplice generatore di rete da usare.

Comando BNStat

La valutazione della media e della varianza della valutazione e del test del set di dati per il nodo di normalizzazione batch è complessa. Anche se la media e la varianza possono essere calcolate tramite media o exp in esecuzione durante il training, si tende comunque a fornire un metodo più stabile e affidabile per generare la media e la varianza della normalizzazione batch - Statistiche di normalizzazione post batch. Il comando deve essere chiamato dopo il training. Genererà la media e la varianza per ogni livello BN.

  • modelPath: percorso del file del modello contenente il modello sottoposto a training
  • minibatchSize: dimensioni del mini batch durante la valutazione, stesse con minibatchSize di training
  • itersPerNode: iterazioni statistiche per ogni nodo di normalizzazione batch
  • reader: blocco di configurazione del lettore per leggere i dati di test. Per informazioni dettagliate, vedere Blocco lettore
  • enableDistributedMBReading: lettura distribuita in training parallelo
  • Last updated on