TiktokenTokenizer.CreateForModel メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer) |
モデル名に基づいてトークナイザーを作成する |
| CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer) |
モデル名とボキャブ ファイルに基づいて Tiktoken トークナイザーを作成します。 |
CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)
モデル名に基づいてトークナイザーを作成する
public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.Collections.Generic.IReadOnlyDictionary<string, int> * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer
パラメーター
- modelName
- String
モデル名
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
モデルの組み込みトークン以外の特別なトークン
- normalizer
- Normalizer
トークン化の前にテキストを正規化するには
返品
トークナイザー
適用対象
CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)
モデル名とボキャブ ファイルに基づいて Tiktoken トークナイザーを作成します。
public static Microsoft.ML.Tokenizers.TiktokenTokenizer CreateForModel(string modelName, System.IO.Stream vocabStream, System.Collections.Generic.IReadOnlyDictionary<string,int>? extraSpecialTokens = default, int cacheSize = 8192, Microsoft.ML.Tokenizers.Normalizer? normalizer = default);
static member CreateForModel : string * System.IO.Stream * System.Collections.Generic.IReadOnlyDictionary<string, int> * int * Microsoft.ML.Tokenizers.Normalizer -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function CreateForModel (modelName As String, vocabStream As Stream, Optional extraSpecialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192, Optional normalizer As Normalizer = Nothing) As TiktokenTokenizer
パラメーター
- modelName
- String
モデル名
- vocabStream
- Stream
BPE ボキャブ ファイルへのストリーム。
- extraSpecialTokens
- IReadOnlyDictionary<String,Int32>
モデルの組み込みトークン以外の特別なトークン
- cacheSize
- Int32
使用するキャッシュのサイズ。
- normalizer
- Normalizer
トークン化の前にテキストを正規化するには
返品
トークナイザー