TiktokenTokenizer.CreateAsync Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken) |
Crie um novo objeto do tokenizer Tiktoken de forma assíncrona. |
| CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken) |
Crie um novo objeto do tokenizer Tiktoken de forma assíncrona. |
CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
Crie um novo objeto do tokenizer Tiktoken de forma assíncrona.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>
Public Shared Function CreateAsync (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)
Parâmetros
- vocabStream
- Stream
O fluxo para o arquivo vocab bpe.
- preTokenizer
- PreTokenizer
O pré-tokenizador a ser usado.
- normalizer
- Normalizer
O normalizador a ser usado.
- specialTokens
- IReadOnlyDictionary<String,Int32>
O dicionário mapeando tokens especiais para IDs.
- cacheSize
- Int32
O tamanho do cache a ser usado.
- cancellationToken
- CancellationToken
CancellationToken usado para solicitar o cancelamento da operação.
Retornos
O objeto do tokenizer.
Comentários
Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.
Aplica-se a
CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
- Origem:
- TiktokenTokenizer.cs
Crie um novo objeto do tokenizer Tiktoken de forma assíncrona.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>
Public Shared Function CreateAsync (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)
Parâmetros
- vocabFilePath
- String
O arquivo vocab bpe.
- preTokenizer
- PreTokenizer
O pré-tokenizador a ser usado.
- normalizer
- Normalizer
O normalizador a ser usado.
- specialTokens
- IReadOnlyDictionary<String,Int32>
O dicionário mapeando tokens especiais para IDs.
- cacheSize
- Int32
O tamanho do cache a ser usado.
- cancellationToken
- CancellationToken
CancellationToken usado para solicitar o cancelamento da operação.
Retornos
O objeto do tokenizer.
Comentários
Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.