TiktokenTokenizer.Create Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
Erstellen Sie das Objekt eines neuen Tiktokentokentokens. |
| Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
Erstellen Sie das Objekt eines neuen Tiktokentokentokens. |
Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
Erstellen Sie das Objekt eines neuen Tiktokentokentokens.
public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizerPublic Shared Function Create (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizerParameter
- vocabStream
- Stream
Der Datenstrom zur BPE-vocab-Datei.
- preTokenizer
- PreTokenizer
Der zu verwendende Prätokenizer.
- normalizer
- Normalizer
Der zu verwendende Normalisierer.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Die Wörterbuchzuordnung spezieller Token zu IDs.
- cacheSize
- Int32
Die Größe des zu verwendenden Caches.
Gibt zurück
Das Objekt des Tokenizers.
Hinweise
Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.
Gilt für:
Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
Erstellen Sie das Objekt eines neuen Tiktokentokentokens.
public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);static member Create : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizerPublic Shared Function Create (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizerParameter
- vocabFilePath
- String
Die BPE-Vocab-Datei.
- preTokenizer
- PreTokenizer
Der zu verwendende Prätokenizer.
- normalizer
- Normalizer
Der zu verwendende Normalisierer.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Die Wörterbuchzuordnung spezieller Token zu IDs.
- cacheSize
- Int32
Die Größe des zu verwendenden Caches.
Gibt zurück
Das Objekt des Tokenizers.
Hinweise
Stellen Sie beim Erstellen des Tokenizers sicher, dass die Vokabulardatei von einem vertrauenswürdigen Anbieter stammt.