BertOptions Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Opções para o tokenizador Bert.
public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptionstype BertOptions = class
inherit WordPieceOptionsPublic NotInheritable Class BertOptions
Inherits WordPieceOptions- Herança
Construtores
| Nome | Description |
|---|---|
| BertOptions() |
Opções para o tokenizador Bert. |
Propriedades
| Nome | Description |
|---|---|
| ApplyBasicTokenization |
Obtém ou define um valor que indica se deve aplicar a tokenização básica. |
| ClassificationToken |
Obtém ou define o token de classificação a ser usado. |
| ContinuingSubwordPrefix |
Obtém ou define o prefixo a ser usado para sub-palavras que não são a primeira parte de uma palavra. (Herdado de WordPieceOptions) |
| IndividuallyTokenizeCjk |
Obtém ou define um valor que indica se os caracteres CJK devem ser tokenizados em tokens separados. |
| LowerCaseBeforeTokenization |
Obtém ou define um valor que indica se a entrada deve ser reduzida antes da tokenização. |
| MaskingToken |
Obtém ou define o token de mascaramento a ser usado. |
| MaxInputCharsPerWord |
Obtém ou define o número máximo de caracteres a serem considerados para uma única palavra. (Herdado de WordPieceOptions) |
| Normalizer |
Obtém ou define o Normalizer normalizador padrão para substituir o normalizador padrão, se desejado. (Herdado de WordPieceOptions) |
| PaddingToken |
Obtém ou define o token de preenchimento a ser usado. |
| PreTokenizer |
Obtém ou define o PreTokenizer normalizador padrão para substituir o normalizador padrão, se desejado. (Herdado de WordPieceOptions) |
| RemoveNonSpacingMarks |
Obtém ou define um valor que indica se as marcas de não espaçamento devem ser removidas. |
| SeparatorToken |
Obtém ou define o token separador a ser usado. |
| SpecialTokens |
Obtém ou define os tokens especiais a serem usados. (Herdado de WordPieceOptions) |
| SplitOnSpecialTokens |
Obtém ou define um valor que indica se os tokens especiais devem ser divididos. |
| UnknownToken |
Obtém ou define o token desconhecido a ser usado. (Herdado de WordPieceOptions) |