BpeTrainer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Le formateur Bpe responsable de l’apprentissage du modèle Bpe.
public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainertype BpeTrainer = class
inherit TrainerPublic NotInheritable Class BpeTrainer
Inherits Trainer- Héritage
Constructeurs
| Nom | Description |
|---|---|
| BpeTrainer() |
Construisez un nouvel objet BpeTrainer à l’aide des valeurs par défaut. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Construisez un nouvel objet BpeTrainer. |
Propriétés
| Nom | Description |
|---|---|
| ContinuingSubwordPrefix |
Obtient le préfixe à utiliser pour chaque sous-mot qui n’est pas un début de mot. |
| EndOfWordSuffix |
Obtient le suffixe à utiliser pour chaque sous-mot qui est un mot de fin. |
| InitialAlphabet |
Obtient la liste des caractères à inclure dans l’alphabet initial, même s’il n’est pas vu dans le jeu de données d’entraînement. Si les chaînes contiennent plusieurs caractères, seules les premières sont conservées. |
| LimitAlphabet |
Obtient le nombre maximal de caractères différents à conserver dans l’alphabet. |
| MinFrequency |
Obtient la fréquence minimale qu’une paire doit avoir pour être fusionnée. |
| Progress |
Définissez quand vous devez signaler la progression pendant l’entraînement. (Hérité de Trainer) |
| SpecialTokens |
Obtient la liste des jetons spéciaux que le modèle doit connaître. |
| VocabSize |
Obtient la taille du vocabulaire final, y compris tous les jetons et l’alphabet. |
Méthodes
| Nom | Description |
|---|---|
| Feed(IEnumerable<String>, Func<String,IEnumerable<String>>) |
Traitez les séquences d’entrée et alimentez le résultat vers le modèle. |
| Train(Model) |
Effectuez l’entraînement réel et mettez à jour le modèle d’entrée avec les nouveaux vocabulaires et fusionne les données. |