TiktokenTokenizer.Create Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
Creare un nuovo oggetto tokenizer di Tiktoken. |
| Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
Creare un nuovo oggetto tokenizer di Tiktoken. |
Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)
- Origine:
- TiktokenTokenizer.cs
- Origine:
- TiktokenTokenizer.cs
- Origine:
- TiktokenTokenizer.cs
Creare un nuovo oggetto tokenizer di Tiktoken.
public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizerPublic Shared Function Create (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizerParametri
- vocabStream
- Stream
Flusso al file vocab BPE.
- preTokenizer
- PreTokenizer
Pre-tokenizer da usare.
- normalizer
- Normalizer
Normalizzatore da usare.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Il dizionario esegue il mapping di token speciali agli ID.
- cacheSize
- Int32
Dimensioni della cache da usare.
Valori restituiti
Oggetto del tokenizer.
Commenti
Quando si crea il tokenizer, assicurarsi che il flusso del vocabolario venga originato da un provider attendibile.
Si applica a
Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)
- Origine:
- TiktokenTokenizer.cs
- Origine:
- TiktokenTokenizer.cs
- Origine:
- TiktokenTokenizer.cs
Creare un nuovo oggetto tokenizer di Tiktoken.
public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);static member Create : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizerPublic Shared Function Create (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizerParametri
- vocabFilePath
- String
File vocab BPE.
- preTokenizer
- PreTokenizer
Pre-tokenizer da usare.
- normalizer
- Normalizer
Normalizzatore da usare.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Il dizionario esegue il mapping di token speciali agli ID.
- cacheSize
- Int32
Dimensioni della cache da usare.
Valori restituiti
Oggetto del tokenizer.
Commenti
Quando si crea il tokenizer, assicurarsi che il file del vocabolario venga originato da un provider attendibile.