SentencePieceNormalizer Classe
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Normalizzare la stringa in base alla normalizzazione SentencePiece.
public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizertype SentencePieceNormalizer = class
inherit NormalizerPublic NotInheritable Class SentencePieceNormalizer
Inherits Normalizer- Ereditarietà
Costruttori
| Nome | Descrizione |
|---|---|
| SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>) |
Crea un oggetto SentencePieceNormalizer. |
Proprietà
| Nome | Descrizione |
|---|---|
| AddDummyPrefix |
Indicare l'emissione del carattere prefisso fittizio U+2581 all'inizio del token di frase durante la codifica. |
| EscapeWhiteSpaces |
Indicare l'escape degli spazi vuoti aggiungendo il carattere di prefisso fittizio U+2581. |
| RemoveExtraWhiteSpaces |
Indicare la rimozione di spazi vuoti aggiuntivi dalla stringa originale durante la normalizzazione. |
| SpecialTokens |
Indicare i token aggiunti. |
| TreatWhitespaceAsSuffix |
Indicare che lo spazio vuoto viene trattato come suffisso. |
Metodi
| Nome | Descrizione |
|---|---|
| Normalize(ReadOnlySpan<Char>) |
Normalizzare la stringa originale in base alla normalizzazione SentencePiece. |
| Normalize(String) |
Normalizzare la stringa originale in base alla normalizzazione SentencePiece. |