Polecenia najwyższego poziomu w języku BrainScript

Główne polecenie train najwyższego poziomu itesteval/są opisane na stronie Trenowanie, Testowanie, Eval. Poniżej przedstawiono dalsze polecenia najwyższego poziomu.

Adapt , polecenie

To polecenie dostosowuje już wytrenowany model przy użyciu regularyzacji kl rozbieżność. Zaleca się przeprowadzenie wszystkich innych adaptacji przy użyciu edycji modelu. Polecenie adapt jest bardzo podobne do polecenia train, z tą różnicą, że zawiera dwa kolejne parametry:

• originalModelFileName: nazwa pliku modelu, który zostanie dostosowany.

• refNodeName: nazwa węzła w sieci obliczeniowej, która będzie używana do uregulowania rozbieżności w kl.

Życiorys zawodowy

To polecenie ocenia serię modeli z różnych epok na zestawie programowania (lub krzyżowego sprawdzania poprawności) i wyświetla informacje o najlepszym modelu. Oprócz parametrów używanych na potrzeby polecenia testowego, to polecenie również używa parametrów

• crossValidationInterval: tablica 3 liczb całkowitych identyfikujących epokę początkową, przyrost epoki i końcową epokę do obliczenia. Na przykład 3:2:9 oznacza, że zostaną ocenione modele 3,5,7 i 9.

• sleepTimeBetweenRuns: ile sekund oczekiwania między przebiegami. Jest to potrzebne tylko wtedy, gdy procesor GPU jest zbyt gorący.

Write , polecenie

To polecenie zapisuje wartość węzła wyjściowego do pliku. Powiązane parametry to

• reader: blok konfiguracji czytnika w celu odczytania danych wejściowych.

• writer: blok konfiguracji modułu zapisywania w celu określenia sposobu zapisywania danych wyjściowych. Jeśli ta wartość nie zostanie określona, zostanie użyty parametr outputPath.

• minibatchSize: rozmiar minibatch używany podczas odczytywania i przetwarzania zestawu danych.

• epochSize: rozmiar zestawu danych. Wartość domyślna to 0. Cały zestaw danych zostanie oceniony, jeśli zostanie ustawiony na wartość 0.

• modelPath: ścieżka do modelu, która ma zostać użyta do obliczenia danych wyjściowych.

• outputPath: ścieżka do pliku w celu zapisania danych wyjściowych w formacie tekstowym. Jeśli blok zapisywania istnieje, ten parametr zostanie zignorowany. Element outputPath lub składnik zapisywania musi istnieć.

• outputNodeNames: tablica z co najmniej jedną nazwą węzła wyjściowego, która ma zostać zapisana w pliku.

Edytuj polecenie

To polecenie edytuje model i zapisuje zmodyfikowany model do pliku. Jest to przestarzałe. Skojarzone parametry to:

• editPath: ścieżka do skryptu MEL do wykonania.
• ndlMacros: ścieżka do pliku makr NDL, który zostanie załadowany i użyty w skryfcie MEL.

Polecenie SVD

To polecenie przeprowadza przybliżenie o niskiej rangi z dekompozycją SVD parametrów uczenia się. Podstawową motywacją jest faktoryzacja macierzy wagi z dwiema macierzami niższej rangi w celu poprawy szybkości wnioskowania, zachowując jednocześnie dokładność. Przykład:

svd = [
    action = "SVD"
    modelPath = "train\lstm.model.67"
    outputModelPath = "train\lstm.model.svd"
    SVDConfig = "nodeConfigs"
]

Skojarzone bloki parametrów to:

• modelPath: określa, gdzie załadować model początkowy.

• outputModelPath: określa, gdzie zapisać poprawiony model.

• SVDConfig: plik konfiguracji, który określa sposób wykonywania svD dla różnych grup węzłów. Ta konfiguracja ma format dwukolumny:

  <NodeNameRegex> <float>

Pierwsza kolumna to wyrażenie regularne, które będzie zgodne z nazwą węzła w jednej grupie. Druga kolumna jest zmiennoprzecinkowym wskazującym, jaki procent svDenergii będzie przechowywany po SVD, gdzie energia SVD jest zdefiniowana jako suma wartości pojedynczych. Na przykład konfiguracja

`LSTMoutput[1-3].Wx[ifco] 0.4`
`LSTMoutput[1-3].Wh[ifco] 0.6`

Spowoduje bardziej agresywną dekompozycję SVD (0,4) dla połączeń niecyklicznych (od x do i,f,c,o gates) w LSTM i mniej agresywne dekompozycji SVD dla połączeń cyklicznych (od h do i,f,c,o gates), gdzie nazwy parametrów są zdefiniowane w NDL.

Dumpnode , polecenie

To polecenie zrzutuje informacje o węzłach do pliku wyjściowego, który można również wykonać w mel z większą kontrolą. Powiązane parametry to:

• modelPath: ścieżka do pliku modelu zawierającego węzły do zrzutu.

• nodeName: nazwa węzła, który ma zostać zapisany w pliku. Jeśli nie określono wszystkich węzłów, zostaną po cenach dumpingowych.

• nodeNameRegex: wyrażenie regularne dla nazw węzłów, które mają być zapisywane w pliku. Jeśli parametr zostanie określony, nodeName zostanie zignorowany.

• outputFile: ścieżka do pliku wyjściowego. Jeśli nie określono nazwy pliku, zostanie wygenerowana automatycznie na podstawie elementu modelPath.

• printValues: określa, czy mają być wyświetlane wartości skojarzone z węzłem, jeśli wartości węzła są utrwalane w modelu. Wartość domyślna to true.

• printMetadata: określa, czy mają być drukowane metadane (nazwa węzła, wymiary itp.) skojarzone z węzłem. Wartość domyślna to true.

WriteWordAndClass — Polecenie (przestarzałe)

To polecenie odczytuje dane trenowania tekstu, zlicza liczbę wystąpień każdego wyrazu w zestawie treningowym, sortuje wyrazy w kolejności malejącej liczby, nadaje każdemu słowu unikatowy identyfikator, przypisuje każde słowo do klasy i generuje czterokolumny plik słownictwa oraz plik mapowaniato-id wyrazu, który ma być używany przez (przestarzałe) lmSequenceReader do trenowania modeli językowych opartych na klasach. Powiązane parametry to:

• inputFile: ścieżka do pliku szkoleniowego tekstu.

• outputVocabFile: nazwa wygenerowanego pliku słownictwa z czterema kolumnami. Pierwsza kolumna to identyfikator wyrazu, druga kolumna to liczba wyrazów, trzecia kolumna to słowo, a czwarta kolumna jest identyfikatorem klasy.

• outputWord2Cls: ścieżka do wygenerowanego pliku mapowania wyraz-klasa.

• outputCls2Index: ścieżka do wygenerowanego pliku mapowania class-to-wordId.

• vocabSize: żądany rozmiar słownictwa.

• nbrClass: żądana liczba klas.

• cutoff: liczba odcięć. Gdy liczba wyrazów jest niższa lub równa tej wartości, słowo będzie traktowane jako <fragment>. Wartość domyślna to 2. Należy pamiętać, że ten parametr jest używany tylko wtedy, gdy żądany rozmiar słownictwa jest większy niż rzeczywista liczba wyrazów istnieje w zestawie treningowym.

CreateLabelMap, polecenie

Często łatwo jest ręcznie utworzyć plik mapowania etykiet. Czasami jednak wolisz automatycznie wygenerować plik mapowania etykiet, który jest celem polecenia CreateLabelMap. Obecnie UCIFastReader jest jedynym czytelnikiem obsługującym tę akcję. Powiązane parametry to

• section: nazwa bloku parametru (zazwyczaj blok pociągu), który ma podblokowania czytnika, który będzie używany do generowania pliku mapowania etykiet. Wygenerowany plik mapowania etykiet zostanie zapisany w elemecie labelMappingFile określonym w pod bloku czytelnika tego bloku parametrów.

• minibatchSize: rozmiar minibatch używany podczas tworzenia pliku mapowania etykiet.

DoEncoderDecoder , polecenie

Sieci neuronowe mogą służyć do tworzenia łańcucha sieci. Pierwsze kilka sieci może działać jako kodery, a następujące sieci mogą służyć jako dekodery. Specjalny węzeł PairNetworkNode jest używany w każdej sieci do obsługi gniazda, które ma być połączone przez inne sieci. Powiązane parametry to

• section: koderReader i decoderReader są czytnikami kodera i dekodera. Podobnie dla koderaCVReader i decoderCVReader dla zestawu weryfikacji.

• encoderNetworkBuilder i decoderNetworkBuilder: Określają one prostego konstruktora sieci do użycia.

Polecenie BNStat

Ocena średniej i wariancji oceny i testowania zestawu danych dla węzła normalizacji wsadowej jest trudna. Mimo że średnia i wariancja mogą być obliczane za pośrednictwem średniej lub eksploracyjnej podczas trenowania, nadal mamy tendencję do zapewnienia bardziej stabilnej i niezawodnej metody generowania średniej i wariancji normalizacji wsadowej — statystyki normalizacji po partii. Polecenie należy wywołać po trenowaniu. Spowoduje to wygenerowanie średniej i wariancji dla każdej warstwy BN.

• modelPath: ścieżka do pliku modelu zawierającego wytrenowany model
• minibatchSize: rozmiar mini-partii podczas oceny, taki sam jak w przypadku minibatchSize trenowania
• itersPerNode: iteracje statystyk dla każdego węzła normalizacji partii
• reader: blok konfiguracji czytnika w celu odczytania danych testowych. Aby uzyskać szczegółowe informacje, zobacz Blok czytelnika
• enableDistributedMBReading: odczyt rozproszony w trenowaniu równoległym