Bpe Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Representa el modelo de codificación de pares de bytes.
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- Herencia
Constructores
| Nombre | Description |
|---|---|
| Bpe() |
Construya un nuevo objeto de modelo Bpe sin vocabulario de tokenización. Este constructor solo es útil en el escenario de entrenamiento. |
| Bpe(String, String, String, String, String) |
Construya un nuevo objeto de modelo Bpe que se usará para la tokenización de oraciones y el entrenamiento de tokenizador. |
Propiedades
| Nombre | Description |
|---|---|
| ContinuingSubwordPrefix |
Prefijo que se va a usar para cada subword que no es un principio de palabra |
| Decoder |
Obtiene el objeto de descodificador Bpe. |
| EndOfWordSuffix |
Un sufijo opcional para caracterizar y finalizar la sub-palabra |
| FuseUnknownTokens |
Obtiene o establece si se permiten varios tokens desconocidos se fusionan. |
| UnknownToken |
Obtiene o establece un token desconocido. El token desconocido que se va a usar cuando se encuentra un char desconocido |
Métodos
| Nombre | Description |
|---|---|
| GetTrainer() |
Obtiene un objeto trainer que se va a usar en el entrenamiento del modelo y genera los datos de vocabulario y mezcla. |
| GetVocab() |
Obtiene los tokens de asignación de diccionario a identificadores. |
| GetVocabSize() |
Obtiene el tamaño del diccionario que asigna tokens a Ids. |
| IdToToken(Int32, Boolean) |
Asigne el identificador con token al token. |
| Save(String, String) |
Guarde los datos del modelo en el vocabulario y combine los archivos. |
| Tokenize(String) |
Tokenice una cadena de secuencia en una lista de tokens. |
| TokenToId(String) |
Asigne el token al identificador con tokenizado. |