WordPieceOptions Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Opciones para el tokenizador de WordPiece.
public class WordPieceOptions
type WordPieceOptions = class
Public Class WordPieceOptions
- Herencia
-
WordPieceOptions
- Derivado
Constructores
| Nombre | Description |
|---|---|
| WordPieceOptions() |
Opciones para el tokenizador de WordPiece. |
Propiedades
| Nombre | Description |
|---|---|
| ContinuingSubwordPrefix |
Obtiene o establece el prefijo que se va a usar para las sub-palabras que no son la primera parte de una palabra. |
| MaxInputCharsPerWord |
Obtiene o establece el número máximo de caracteres que se deben tener en cuenta para una sola palabra. |
| Normalizer |
Obtiene o establece para Normalizer invalidar el normalizador predeterminado, si lo desea. |
| PreTokenizer |
Obtiene o establece para PreTokenizer invalidar el normalizador predeterminado, si lo desea. |
| SpecialTokens |
Obtiene o establece los tokens especiales que se van a usar. |
| UnknownToken |
Obtiene o establece el token desconocido que se va a usar. |