TiktokenTokenizer.CreateForModel Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer) |
Criar tokenizer com base no nome do modelo |
| CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer) |
Crie um tokenizador Tiktoken com base no nome do modelo e no arquivo vocab. |
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
Criar tokenizer com base no nome do modelo
public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer
Parâmetros
- modelName
- String
Nome do modelo
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
Tokens especiais extras diferentes dos internos para o modelo
- normalizer
- Normalizer
Para normalizar o texto antes da tokenização
Retornos
O tokenizador
Aplica-se a
CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
Crie um tokenizador Tiktoken com base no nome do modelo e no arquivo vocab.
public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer
Parâmetros
- modelName
- String
Nome do modelo
- vocabStream
- Stream
O fluxo para o arquivo vocab bpe.
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
Tokens especiais extras diferentes dos internos para o modelo
- cacheSize
- Int32
O tamanho do cache a ser usado.
- normalizer
- Normalizer
Para normalizar o texto antes da tokenização
Retornos
O tokenizador