QATrainer.Options Klasa

Częstotliwość upuszczania po funkcjach aktywacji w warstwach FFN. Powinien znajdować się w zakresie [0, 1).

Wersje beta optymalizatora Adama.

Epsilon dla optymalizatora Adama.

Nazwa kolumny początkowej indeksu odpowiedzi

Współczynnik spadku dla wag uwagi. Powinien znajdować się w zakresie [0, 1).

Liczba próbek do użycia na potrzeby trenowania minisadowego.

Próg przycinania gradientów. Powinien znajdować się w obrębie [0, +Inf). 0 oznacza, że nie należy przycinać norm.

Nazwa kolumny kontekstowej

Współczynnik porzucania dla ogólnych sytuacji. Powinien znajdować się w zakresie [0, 1).

Czy używać listy rozwijanej dynamicznej.

Czy należy zastosować normalizację warstw przed każdym blokiem kodera.

Ostateczny współczynnik uczenia dla harmonogramu rozkładu wielomianowego.

Czy zamrozić parametry kodera.

Czy zamrozić parametry modułu transferu.

Nazwa kolumny etykiety.

Czy trenować parametry normy warstwy.

Szybkość nauki dla pierwszej epoki N; wszystkie epoki N używające >LR_N. Uwaga: może to być interpretowane inaczej w zależności od harmonogramu.

Jak często rejestrować utratę.

Zatrzymaj trenowanie podczas osiągania tej liczby epok.

Współczynnik porzucania w warstwach puli modeli języka maskowanego. Powinien znajdować się w zakresie [0, 1).

Nazwa kolumny odpowiedzi dla przewidywanych odpowiedzi

Nazwa kolumny Prediction (Przewidywanie).

Nazwa kolumny pytania

Nazwa kolumny Score (Wynik).

Pierwsza kolumna zdania.

Druga kolumna zdania.

Wskaźnik uczenia początkowego dla harmonogramu rozkładu wielomianowego.

Typ zadania, który jest powiązany z głową modelu.

Liczba najważniejszych przewidywanych odpowiedzi w zadaniu odpowiedzi na pytania.

Nazwa kolumny odpowiedzi dla danych treningowych

Zestaw weryfikacji używany podczas trenowania w celu poprawy jakości modelu.

Proporcja kroków rozgrzewania w harmonogramie rozkładu wielomianowego.

Nieefektywność rozkładu masy ciała. Powinien znajdować się w obrębie [0, +Inf).