Language

TiktokenTokenizer.CreateForModel メソッド

定義

オーバーロード

名前 説明
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

モデル名に基づいてトークナイザーを作成する

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

モデル名とボキャブ ファイルに基づいて Tiktoken トークナイザーを作成します。

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs

モデル名に基づいてトークナイザーを作成する

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

パラメーター

modelName
String

モデル名

extraSpecialTokens
IReadOnlyDictionary<String,Int32>

モデルの組み込みトークン以外の特別なトークン

normalizer
Normalizer

トークン化の前にテキストを正規化するには

返品

トークナイザー

適用対象

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs

モデル名とボキャブ ファイルに基づいて Tiktoken トークナイザーを作成します。

public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer

パラメーター

modelName
String

モデル名

vocabStream
Stream

BPE ボキャブ ファイルへのストリーム。

extraSpecialTokens
IReadOnlyDictionary<String,Int32>

モデルの組み込みトークン以外の特別なトークン

cacheSize
Int32

使用するキャッシュのサイズ。

normalizer
Normalizer

トークン化の前にテキストを正規化するには

返品

トークナイザー

適用対象