SentencePieceNormalizer Costruttore

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origine:: SentencePieceNormalizer.cs

Origine:: SentencePieceNormalizer.cs

Origine:: SentencePieceNormalizer.cs

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Crea un oggetto SentencePieceNormalizer.

public SentencePieceNormalizer(bool removeExtraWhiteSpaces, bool addDummyPrefix, bool escapeWhiteSpaces, bool treatWhitespaceAsSuffix, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);

new Microsoft.ML.Tokenizers.SentencePieceNormalizer : bool * bool * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceNormalizer

Public Sub New (removeExtraWhiteSpaces As Boolean, addDummyPrefix As Boolean, escapeWhiteSpaces As Boolean, treatWhitespaceAsSuffix As Boolean, specialTokens As IReadOnlyDictionary(Of String, Integer))

Parametri

removeExtraWhiteSpaces: Boolean

addDummyPrefix: Boolean

escapeWhiteSpaces: Boolean

treatWhitespaceAsSuffix: Boolean

specialTokens: IReadOnlyDictionary<String,Int32>

Si applica a