Idioma

WordPieceOptions Classe

Definição

Opções para o tokenizador wordpiece.

public class WordPieceOptions
type WordPieceOptions = class
Public Class WordPieceOptions
Herança
WordPieceOptions
Derivado

Construtores

Nome Description
WordPieceOptions()

Opções para o tokenizador wordpiece.

Propriedades

Nome Description
ContinuingSubwordPrefix

Obtém ou define o prefixo a ser usado para sub-palavras que não são a primeira parte de uma palavra.

MaxInputCharsPerWord

Obtém ou define o número máximo de caracteres a serem considerados para uma única palavra.

Normalizer

Obtém ou define o Normalizer normalizador padrão para substituir o normalizador padrão, se desejado.

PreTokenizer

Obtém ou define o PreTokenizer normalizador padrão para substituir o normalizador padrão, se desejado.

SpecialTokens

Obtém ou define os tokens especiais a serem usados.

UnknownToken

Obtém ou define o token desconhecido a ser usado.

Aplica-se a