Idioma

TiktokenTokenizer.Create Método

Definição

Sobrecargas

Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs

Crie um novo objeto do tokenizer Tiktoken.

public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function Create (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizer

Parâmetros

vocabStream
Stream

O fluxo para o arquivo vocab bpe.

preTokenizer
PreTokenizer

O pré-tokenizador a ser usado.

normalizer
Normalizer

O normalizador a ser usado.

specialTokens
IReadOnlyDictionary<String,Int32>

O dicionário mapeando tokens especiais para IDs.

cacheSize
Int32

O tamanho do cache a ser usado.

Retornos

O objeto do tokenizer.

Comentários

Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a

Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs

Crie um novo objeto do tokenizer Tiktoken.

public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);
static member Create : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function Create (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizer

Parâmetros

vocabFilePath
String

O arquivo vocab bpe.

preTokenizer
PreTokenizer

O pré-tokenizador a ser usado.

normalizer
Normalizer

O normalizador a ser usado.

specialTokens
IReadOnlyDictionary<String,Int32>

O dicionário mapeando tokens especiais para IDs.

cacheSize
Int32

O tamanho do cache a ser usado.

Retornos

O objeto do tokenizer.

Comentários

Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.

Aplica-se a