TiktokenTokenizer.CreateForEncoding Methode

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: TiktokenTokenizer.cs

Quelle:: TiktokenTokenizer.cs

Quelle:: TiktokenTokenizer.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Erstellen eines Tokenizers basierend auf dem Codierungsnamen

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForEncoding(string encodingName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForEncoding : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForEncoding (encodingName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parameter

encodingName: String

Codierungsname

extraSpecialTokens: IReadOnlyDictionary<String,Int32>

Zusätzliche spezielle Token außer den integrierten Token für die Codierung

normalizer: Normalizer

So normalisieren Sie den Text vor der Tokenisierung

Gibt zurück

TiktokenTokenizer

Der Tokenizer

Gilt für: