Language

TiktokenTokenizer.Create メソッド

定義

オーバーロード

名前 説明
Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

新しい Tiktoken トークナイザーのオブジェクトを作成します。

Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

新しい Tiktoken トークナイザーのオブジェクトを作成します。

Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs

新しい Tiktoken トークナイザーのオブジェクトを作成します。

public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function Create (vocabStream As Stream, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizer

パラメーター

vocabStream
Stream

BPE ボキャブ ファイルへのストリーム。

preTokenizer
PreTokenizer

使用する事前トークナイザー。

normalizer
Normalizer

使用するノーマライザー。

specialTokens
IReadOnlyDictionary<String,Int32>

特殊なトークンを ID にマッピングするディクショナリ。

cacheSize
Int32

使用するキャッシュのサイズ。

返品

トークナイザーのオブジェクト。

注釈

トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。

適用対象

Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs
ソース:
TiktokenTokenizer.cs

新しい Tiktoken トークナイザーのオブジェクトを作成します。

public static Microsoft.ML.Tokenizers.TiktokenTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer, Microsoft.ML.Tokenizers.Normalizer? normalizer, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default, int cacheSize = 8192);
static member Create : string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * System.Collections.Generic.IReadOnlyDictionary<string, int> * int -> Microsoft.ML.Tokenizers.TiktokenTokenizer
Public Shared Function Create (vocabFilePath As String, preTokenizer As PreTokenizer, normalizer As Normalizer, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing, Optional cacheSize As Integer = 8192) As TiktokenTokenizer

パラメーター

vocabFilePath
String

BPE ボキャブラブ ファイル。

preTokenizer
PreTokenizer

使用する事前トークナイザー。

normalizer
Normalizer

使用するノーマライザー。

specialTokens
IReadOnlyDictionary<String,Int32>

特殊なトークンを ID にマッピングするディクショナリ。

cacheSize
Int32

使用するキャッシュのサイズ。

返品

トークナイザーのオブジェクト。

注釈

トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。

適用対象