Bpe Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Représente le modèle d’encodage de paire d’octets.
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- Héritage
Constructeurs
| Nom | Description |
|---|---|
| Bpe() |
Construisez un nouvel objet de modèle Bpe sans vocabulaire de jeton. Ce constructeur est utile uniquement dans le scénario d’entraînement. |
| Bpe(String, String, String, String, String) |
Construisez un nouvel objet de modèle Bpe à utiliser pour l’apprentissage de tokenisation et de tokenizer de phrase. |
Propriétés
| Nom | Description |
|---|---|
| ContinuingSubwordPrefix |
Préfixe à utiliser pour chaque sous-mot qui n’est pas un début de mot |
| Decoder |
Obtient l’objet décodeur Bpe. |
| EndOfWordSuffix |
Suffixe facultatif pour caractériser et sous-mot de fin de mot |
| FuseUnknownTokens |
Obtient ou définit si l’autorisation de plusieurs jetons inconnus est fusionnée |
| UnknownToken |
Obtient ou définit un jeton inconnu. Jeton inconnu à utiliser lorsque nous rencontrons un caractère inconnu |
Méthodes
| Nom | Description |
|---|---|
| GetTrainer() |
Obtient un objet d’entraîneur à utiliser pour entraîner le modèle et générer le vocabulaire et fusionner les données. |
| GetVocab() |
Obtient les jetons de mappage de dictionnaire en ID. |
| GetVocabSize() |
Obtient la taille du dictionnaire qui mappe les jetons aux ID. |
| IdToToken(Int32, Boolean) |
Mappez l’ID tokenized au jeton. |
| Save(String, String) |
Enregistrez les données du modèle dans le vocabulaire et fusionnez les fichiers. |
| Tokenize(String) |
Jetons une chaîne de séquence à une liste de jetons. |
| TokenToId(String) |
Mappez le jeton à l’ID tokenized. |