TiktokenTokenizer.CreateForModelAsync Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Erstellen Sie einen Tiktoken-Tokenizer basierend auf dem Modellnamen und der vocab-Datei.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateForModelAsync(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Threading.CancellationToken cancellationToken = default);static member CreateForModelAsync : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>Public Shared Function CreateForModelAsync (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)Parameter
- modelName
- String
Modellname
- vocabStream
- Stream
Der Datenstrom zur BPE-vocab-Datei.
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
Zusätzliche spezielle Token außer den integrierten Token für das Modell
- cacheSize
- Int32
Die Größe des zu verwendenden Caches.
- normalizer
- Normalizer
So normalisieren Sie den Text vor der Tokenisierung
- cancellationToken
- CancellationToken
CancellationToken wird verwendet, um den Abbruch des Vorgangs anzufordern.
Gibt zurück
Der Tokenizer