BertOptions Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Opciones para el tokenizador Bert.
public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptionstype BertOptions = class
inherit WordPieceOptionsPublic NotInheritable Class BertOptions
Inherits WordPieceOptions- Herencia
Constructores
| Nombre | Description |
|---|---|
| BertOptions() |
Opciones para el tokenizador Bert. |
Propiedades
| Nombre | Description |
|---|---|
| ApplyBasicTokenization |
Obtiene o establece un valor que indica si se va a aplicar la tokenización básica. |
| ClassificationToken |
Obtiene o establece el token de clasificación que se va a usar. |
| ContinuingSubwordPrefix |
Obtiene o establece el prefijo que se va a usar para las sub-palabras que no son la primera parte de una palabra. (Heredado de WordPieceOptions) |
| IndividuallyTokenizeCjk |
Obtiene o establece un valor que indica si se van a tokenizar los caracteres CJK en tokens independientes. |
| LowerCaseBeforeTokenization |
Obtiene o establece un valor que indica si se va a minúsculas la entrada antes de la tokenización. |
| MaskingToken |
Obtiene o establece el token de enmascaramiento que se va a usar. |
| MaxInputCharsPerWord |
Obtiene o establece el número máximo de caracteres que se deben tener en cuenta para una sola palabra. (Heredado de WordPieceOptions) |
| Normalizer |
Obtiene o establece para Normalizer invalidar el normalizador predeterminado, si lo desea. (Heredado de WordPieceOptions) |
| PaddingToken |
Obtiene o establece el token de relleno que se va a usar. |
| PreTokenizer |
Obtiene o establece para PreTokenizer invalidar el normalizador predeterminado, si lo desea. (Heredado de WordPieceOptions) |
| RemoveNonSpacingMarks |
Obtiene o establece un valor que indica si se van a quitar marcas sin espaciado. |
| SeparatorToken |
Obtiene o establece el token separador que se va a usar. |
| SpecialTokens |
Obtiene o establece los tokens especiales que se van a usar. (Heredado de WordPieceOptions) |
| SplitOnSpecialTokens |
Obtiene o establece un valor que indica si se va a dividir en tokens especiales. |
| UnknownToken |
Obtiene o establece el token desconocido que se va a usar. (Heredado de WordPieceOptions) |