TiktokenTokenizer.Create メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
新しい Tiktoken トークナイザーのオブジェクトを作成します。 |
| Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
新しい Tiktoken トークナイザーのオブジェクトを作成します。 |
Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)
新しい Tiktoken トークナイザーのオブジェクトを作成します。
public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function Create (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizer
パラメーター
- vocabStream
- Stream
BPE ボキャブ ファイルへのストリーム。
- preTokenizer
- PreTokenizer
使用する事前トークナイザー。
- normalizer
- Normalizer
使用するノーマライザー。
- specialTokens
- IReadOnlyDictionary<String,Int32>
特殊なトークンを ID にマッピングするディクショナリ。
- cacheSize
- Int32
使用するキャッシュのサイズ。
返品
トークナイザーのオブジェクト。
注釈
トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。
適用対象
Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)
新しい Tiktoken トークナイザーのオブジェクトを作成します。
public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);
static member Create : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function Create (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizer
パラメーター
- vocabFilePath
- String
BPE ボキャブラブ ファイル。
- preTokenizer
- PreTokenizer
使用する事前トークナイザー。
- normalizer
- Normalizer
使用するノーマライザー。
- specialTokens
- IReadOnlyDictionary<String,Int32>
特殊なトークンを ID にマッピングするディクショナリ。
- cacheSize
- Int32
使用するキャッシュのサイズ。
返品
トークナイザーのオブジェクト。
注釈
トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。