Langue

Model Classe

Définition

Représente un modèle utilisé lors de la tokenisation (par exemple, BPE ou Word Piece ou Unigram).

public abstract class Model
type Model = class
Public MustInherit Class Model
Héritage
Model
Dérivé

Constructeurs

Nom Description
Model()

Représente un modèle utilisé lors de la tokenisation (par exemple, BPE ou Word Piece ou Unigram).

Méthodes

Nom Description
GetTrainer()

Obtient un objet de formateur à utiliser lors de l’apprentissage du modèle.

GetVocab()

Obtient les jetons de mappage de dictionnaire en ID.

GetVocabSize()

Obtient la taille du dictionnaire qui mappe les jetons aux ID.

IdToToken(Int32, Boolean)

Mappez l’ID tokenized au jeton.

Save(String, String)

Enregistrez les données du modèle dans le vocabulaire et fusionnez les fichiers.

Tokenize(String)

Jetons une chaîne de séquence à une liste de jetons.

TokenToId(String)

Mappez le jeton à l’ID tokenized.

S’applique à