Lenguaje

WordPieceOptions Clase

Definición

Opciones para el tokenizador de WordPiece.

public class WordPieceOptions
type WordPieceOptions = class
Public Class WordPieceOptions
Herencia
WordPieceOptions
Derivado

Constructores

Nombre Description
WordPieceOptions()

Opciones para el tokenizador de WordPiece.

Propiedades

Nombre Description
ContinuingSubwordPrefix

Obtiene o establece el prefijo que se va a usar para las sub-palabras que no son la primera parte de una palabra.

MaxInputCharsPerWord

Obtiene o establece el número máximo de caracteres que se deben tener en cuenta para una sola palabra.

Normalizer

Obtiene o establece para Normalizer invalidar el normalizador predeterminado, si lo desea.

PreTokenizer

Obtiene o establece para PreTokenizer invalidar el normalizador predeterminado, si lo desea.

SpecialTokens

Obtiene o establece los tokens especiales que se van a usar.

UnknownToken

Obtiene o establece el token desconocido que se va a usar.

Se aplica a