TiktokenTokenizer.CreateAsync Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken) |
Erstellen Sie asynchron das Objekt eines neuen Tiktokentoken-Tokensizers. |
| CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken) |
Erstellen Sie asynchron das Objekt eines neuen Tiktokentoken-Tokensizers. |
CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
Erstellen Sie asynchron das Objekt eines neuen Tiktokentoken-Tokensizers.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192, System.Threading.CancellationToken cancellationToken = default);static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>Public Shared Function CreateAsync (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)Parameter
- vocabStream
- Stream
Der Datenstrom zur BPE-vocab-Datei.
- preTokenizer
- PreTokenizer
Der zu verwendende Prätokenizer.
- normalizer
- Normalizer
Der zu verwendende Normalisierer.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Die Wörterbuchzuordnung spezieller Token zu IDs.
- cacheSize
- Int32
Die Größe des zu verwendenden Caches.
- cancellationToken
- CancellationToken
CancellationToken wird verwendet, um den Abbruch des Vorgangs anzufordern.
Gibt zurück
Das Objekt des Tokenizers.
Hinweise
Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.
Gilt für:
CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
- Quelle:
- TiktokenTokenizer.cs
Erstellen Sie asynchron das Objekt eines neuen Tiktokentoken-Tokensizers.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192, System.Threading.CancellationToken cancellationToken = default);static member CreateAsync : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>Public Shared Function CreateAsync (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)Parameter
- vocabFilePath
- String
Die BPE-Vocab-Datei.
- preTokenizer
- PreTokenizer
Der zu verwendende Prätokenizer.
- normalizer
- Normalizer
Der zu verwendende Normalisierer.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Die Wörterbuchzuordnung spezieller Token zu IDs.
- cacheSize
- Int32
Die Größe des zu verwendenden Caches.
- cancellationToken
- CancellationToken
CancellationToken wird verwendet, um den Abbruch des Vorgangs anzufordern.
Gibt zurück
Das Objekt des Tokenizers.
Hinweise
Stellen Sie beim Erstellen des Tokenizers sicher, dass die Vokabulardatei von einem vertrauenswürdigen Anbieter stammt.