Lenguaje

Model Clase

Definición

Representa un modelo usado durante la tokenización (como BPE o Word Fragmento o Unigrama).

public abstract class Model
type Model = class
Public MustInherit Class Model
Herencia
Model
Derivado

Constructores

Nombre Description
Model()

Representa un modelo usado durante la tokenización (como BPE o Word Fragmento o Unigrama).

Métodos

Nombre Description
GetTrainer()

Obtiene un objeto trainer que se va a usar en el entrenamiento del modelo.

GetVocab()

Obtiene los tokens de asignación de diccionario a identificadores.

GetVocabSize()

Obtiene el tamaño del diccionario que asigna tokens a Ids.

IdToToken(Int32, Boolean)

Asigne el identificador con token al token.

Save(String, String)

Guarde los datos del modelo en el vocabulario y combine los archivos.

Tokenize(String)

Tokenice una cadena de secuencia en una lista de tokens.

TokenToId(String)

Asigne el token al identificador con tokenización.

Se aplica a