TiktokenTokenizer.CreateForModelAsync Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Creare un tokenizer Tiktoken basato sul nome del modello e sul file vocab.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer> CreateForModelAsync(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, System.Threading.CancellationToken cancellationToken = default);static member CreateForModelAsync : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.TiktokenTokenizer>Public Shared Function CreateForModelAsync (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of TiktokenTokenizer)Parametri
- modelName
- String
Nome del modello
- vocabStream
- Stream
Flusso al file vocab BPE.
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
Token speciali aggiuntivi diversi da quelli predefiniti per il modello
- cacheSize
- Int32
Dimensioni della cache da usare.
- normalizer
- Normalizer
Per normalizzare il testo prima della tokenizzazione
- cancellationToken
- CancellationToken
CancellationToken utilizzato per richiedere l'annullamento dell'operazione.
Valori restituiti
Tokenizer