TiktokenTokenizer.CreateForModel Metodo

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Overload

Nome	Descrizione
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)	Creare un tokenizer in base al nome del modello
CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)	Creare un tokenizer Tiktoken basato sul nome del modello e sul file vocab.

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

Origine:: TiktokenTokenizer.cs

Origine:: TiktokenTokenizer.cs

Origine:: TiktokenTokenizer.cs

Creare un tokenizer in base al nome del modello

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

Parametri

modelName: String

Nome del modello

extraSpecialTokens: IReadOnlyDictionary<String,Int32>

Token speciali aggiuntivi diversi da quelli predefiniti per il modello

normalizer: Normalizer

Per normalizzare il testo prima della tokenizzazione

Valori restituiti

TiktokenTokenizer

Tokenizer

Si applica a

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

Origine:: TiktokenTokenizer.cs

Origine:: TiktokenTokenizer.cs

Origine:: TiktokenTokenizer.cs

Creare un tokenizer Tiktoken basato sul nome del modello e sul file vocab.

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);

static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer

Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer