TiktokenTokenizer.CreateForModelAsync Metoda
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Utwórz tokenizator Tiktoken na podstawie nazwy modelu i pliku wywołania.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateForModelAsync(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Threading.CancellationToken cancellationToken = default);static member CreateForModelAsync : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>Public Shared Function CreateForModelAsync (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)Parametry
- modelName
- String
Nazwa modelu
- vocabStream
- Stream
Strumień do pliku vocab BPE.
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
Dodatkowe tokeny specjalne inne niż wbudowane dla modelu
- cacheSize
- Int32
Rozmiar pamięci podręcznej do użycia.
- normalizer
- Normalizer
Aby znormalizować tekst przed tokenizacją
- cancellationToken
- CancellationToken
CancellationToken służy do żądania anulowania operacji.
Zwraca
Tokenizer