SentencePieceNormalizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Normalize a cadeia de caracteres de acordo com a normalização de SentencePiece.
public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizer
type SentencePieceNormalizer = class
inherit Normalizer
Public NotInheritable Class SentencePieceNormalizer
Inherits Normalizer
- Herança
Construtores
| Nome | Description |
|---|---|
| SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>) |
Cria um objeto SentencePieceNormalizer. |
Propriedades
| Nome | Description |
|---|---|
| AddDummyPrefix |
Indique a emissão do caractere de prefixo fictício U+2581 no início do token de sentença durante a codificação. |
| EscapeWhiteSpaces |
Indique o escape de espaços em branco adicionando o caractere de prefixo fictício U+2581. |
| RemoveExtraWhiteSpaces |
Indique a remoção de espaços em branco extras da cadeia de caracteres original durante a normalização. |
| SpecialTokens |
Indique os tokens adicionados. |
| TreatWhitespaceAsSuffix |
Indique o tratamento do espaço em branco como sufixo. |
Métodos
| Nome | Description |
|---|---|
| Normalize(ReadOnlySpan<Char>) |
Normalize a cadeia de caracteres original de acordo com a normalização de SentencePiece. |
| Normalize(String) |
Normalize a cadeia de caracteres original de acordo com a normalização de SentencePiece. |