Idioma

SentencePieceNormalizer Classe

Definição

Normalize a cadeia de caracteres de acordo com a normalização de SentencePiece.

public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizer
type SentencePieceNormalizer = class
    inherit Normalizer
Public NotInheritable Class SentencePieceNormalizer
Inherits Normalizer
Herança
SentencePieceNormalizer

Construtores

Nome Description
SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)

Cria um objeto SentencePieceNormalizer.

Propriedades

Nome Description
AddDummyPrefix

Indique a emissão do caractere de prefixo fictício U+2581 no início do token de sentença durante a codificação.

EscapeWhiteSpaces

Indique o escape de espaços em branco adicionando o caractere de prefixo fictício U+2581.

RemoveExtraWhiteSpaces

Indique a remoção de espaços em branco extras da cadeia de caracteres original durante a normalização.

SpecialTokens

Indique os tokens adicionados.

TreatWhitespaceAsSuffix

Indique o tratamento do espaço em branco como sufixo.

Métodos

Nome Description
Normalize(ReadOnlySpan<Char>)

Normalize a cadeia de caracteres original de acordo com a normalização de SentencePiece.

Normalize(String)

Normalize a cadeia de caracteres original de acordo com a normalização de SentencePiece.

Aplica-se a