QATrainer.Options Classe

Taux de suppression après les fonctions d’activation dans les couches FFN. Doit se trouver dans [0, 1).

Bêtas de l’optimiseur Adam.

Epsilon pour Adam optimizer.

Nom de la colonne de début de l’index de réponse

Taux d’abandon pour les poids de l’attention. Doit se trouver dans [0, 1).

Nombre d’exemples à utiliser pour l’entraînement par mini-lots.

Seuil de découpage des dégradés. Doit se trouver dans [0, +Inf). 0 signifie ne pas découper la norme.

Nom de la colonne de contexte

Taux d’abandon pour les situations générales. Doit se trouver dans [0, 1).

Indique s’il faut utiliser la liste déroulante dynamique.

Indique s’il faut appliquer la normalisation de couche avant chaque bloc d’encodeur.

Taux d’apprentissage final pour le planificateur de désintégration polynomiale.

Indique s’il faut figer les paramètres de l’encodeur.

Indique s’il faut figer les paramètres du module de transfert.

Nom de la colonne d’étiquette.

Indique s’il faut entraîner des paramètres de norme de couche.

Taux d’apprentissage pour les premières époques N ; toutes les époques >N utilisant LR_N. Remarque : cela peut être interprété différemment selon le planificateur.

Fréquence à laquelle consigner la perte.

Arrêtez la formation quand vous atteignez ce nombre d’époques.

Taux de suppression dans les couches du pooleur de modèles de langage masqués. Doit se trouver dans [0, 1).

Nom de colonne de réponse pour les réponses prédites

Nom de la colonne de prédiction.

Nom de la colonne question

Nom de la colonne Score.

Première colonne de phrase.

Deuxième colonne de phrase.

Taux d’apprentissage de début pour le planificateur de désintégration polynomiale.

Type de tâche, lié à la tête du modèle.

Nombre de réponses prédites principales dans la tâche de réponse aux questions.

Nom de colonne de réponse pour les données d’apprentissage

Jeu de validation utilisé lors de l’entraînement pour améliorer la qualité du modèle.

Proportion des étapes de préchauffement pour le planificateur de désintégration polynomiale.

Insuffisance de poids. Doit se trouver dans [0, +Inf).