TiktokenTokenizer.CreateForModel Metoda

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)	Tworzenie tokenizatora na podstawie nazwy modelu
CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)	Utwórz tokenizator Tiktoken na podstawie nazwy modelu i pliku wywołania.

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Źródło:: TiktokenTokenizer.cs

Źródło:: TiktokenTokenizer.cs

Źródło:: TiktokenTokenizer.cs

Tworzenie tokenizatora na podstawie nazwy modelu

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parametry

modelName: String

Nazwa modelu

extraSpecialTokens: IReadOnlyDictionary<String,Int32>

Dodatkowe tokeny specjalne inne niż wbudowane dla modelu

normalizer: Normalizer

Aby znormalizować tekst przed tokenizacją

Zwraca

TiktokenTokenizer

Tokenizer

Dotyczy

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

Źródło:: TiktokenTokenizer.cs

Źródło:: TiktokenTokenizer.cs

Źródło:: TiktokenTokenizer.cs

Utwórz tokenizator Tiktoken na podstawie nazwy modelu i pliku wywołania.

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer