SentencePieceNormalizer Konstruktor

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: SentencePieceNormalizer.cs

Quelle:: SentencePieceNormalizer.cs

Quelle:: SentencePieceNormalizer.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Erstellt ein SentencePieceNormalizer -Objekt.

public SentencePieceNormalizer(bool removeExtraWhiteSpaces, bool addDummyPrefix, bool escapeWhiteSpaces, bool treatWhitespaceAsSuffix, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens);

new Microsoft.ML.Tokenizers.SentencePieceNormalizer : bool * bool * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceNormalizer

Public Sub New (removeExtraWhiteSpaces As Boolean, addDummyPrefix As Boolean, escapeWhiteSpaces As Boolean, treatWhitespaceAsSuffix As Boolean, specialTokens As IReadOnlyDictionary(Of String, Integer))

Parameter

removeExtraWhiteSpaces: Boolean

addDummyPrefix: Boolean

escapeWhiteSpaces: Boolean

treatWhitespaceAsSuffix: Boolean

specialTokens: IReadOnlyDictionary<String,Int32>

Gilt für: