TiktokenTokenizer.CreateForModel Methode

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Überlädt

Name	Beschreibung
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)	Erstellen eines Tokenizers basierend auf dem Modellnamen
CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)	Erstellen Sie einen Tiktoken-Tokenizer basierend auf dem Modellnamen und der vocab-Datei.

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Quelle:: TiktokenTokenizer.cs

Quelle:: TiktokenTokenizer.cs

Quelle:: TiktokenTokenizer.cs

Erstellen eines Tokenizers basierend auf dem Modellnamen

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parameter

modelName: String

Modellname

extraSpecialTokens: IReadOnlyDictionary<String,Int32>

Zusätzliche spezielle Token außer den integrierten Token für das Modell

normalizer: Normalizer

So normalisieren Sie den Text vor der Tokenisierung

Gibt zurück

TiktokenTokenizer

Der Tokenizer

Gilt für:

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

Quelle:: TiktokenTokenizer.cs

Quelle:: TiktokenTokenizer.cs

Quelle:: TiktokenTokenizer.cs

Erstellen Sie einen Tiktoken-Tokenizer basierend auf dem Modellnamen und der vocab-Datei.

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer