Idioma

TiktokenTokenizer.CreateForModel Método

Definição

Sobrecargas

Nome Description
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Criar tokenizer com base no nome do modelo

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

Crie um tokenizador Tiktoken com base no nome do modelo e no arquivo vocab.

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs

Criar tokenizer com base no nome do modelo

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parâmetros

modelName
String

Nome do modelo

extraSpecialTokens
IReadOnlyDictionary<String,Int32>

Tokens especiais extras diferentes dos internos para o modelo

normalizer
Normalizer

Para normalizar o texto antes da tokenização

Retornos

O tokenizador

Aplica-se a

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs
Origem:
TiktokenTokenizer.cs

Crie um tokenizador Tiktoken com base no nome do modelo e no arquivo vocab.

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parâmetros

modelName
String

Nome do modelo

vocabStream
Stream

O fluxo para o arquivo vocab bpe.

extraSpecialTokens
IReadOnlyDictionary<String,Int32>

Tokens especiais extras diferentes dos internos para o modelo

cacheSize
Int32

O tamanho do cache a ser usado.

normalizer
Normalizer

Para normalizar o texto antes da tokenização

Retornos

O tokenizador

Aplica-se a