Language

TiktokenTokenizer クラス

定義

高速バイト ペア エンコード トークナイザーを表します。

public sealed class TiktokenTokenizer : Microsoft.ML.Tokenizers.Tokenizer
type TiktokenTokenizer = class
    inherit Tokenizer
Public NotInheritable Class TiktokenTokenizer
Inherits Tokenizer
継承
TiktokenTokenizer

プロパティ

名前 説明
Normalizer

トークナイザーで使用されているノーマライザーを取得します。

PreTokenizer

トークナイザーで使用される PreTokenizer を取得します。

SpecialTokens

特殊なトークンを ID にマッピングするディクショナリを取得します。

メソッド

名前 説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストがエンコードされるトークンの数を取得します。

(継承元 Tokenizer)
CountTokens(String, Boolean, Boolean)

入力テキストがエンコードされるトークンの数を取得します。

(継承元 Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストがエンコードされるトークンの数を取得します。

(継承元 Tokenizer)
Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

新しい Tiktoken トークナイザーのオブジェクトを作成します。

Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32)

新しい Tiktoken トークナイザーのオブジェクトを作成します。

CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)

新しい Tiktoken トークナイザーのオブジェクトを非同期的に作成します。

CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken)

新しい Tiktoken トークナイザーのオブジェクトを非同期的に作成します。

CreateForEncoding(String, IReadOnlyDictionary<String,Int32>, Normalizer)

エンコード名に基づいてトークナイザーを作成する

CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer)

モデル名に基づいてトークナイザーを作成する

CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer)

モデル名とボキャブ ファイルに基づいて Tiktoken トークナイザーを作成します。

CreateForModelAsync(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer, CancellationToken)

モデル名とボキャブ ファイルに基づいて Tiktoken トークナイザーを作成します。

Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

指定された ID をテキストにデコードし、結果を destination スパンに格納します。

Decode(IEnumerable<Int32>)

指定した ID を文字列にデコードします。

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

(継承元 Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

最大トークン数までのトークン ID に入力テキストをエンコードします。

(継承元 Tokenizer)
EncodeToIds(String, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

(継承元 Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

最大トークン数までのトークン ID に入力テキストをエンコードします。

<param name="text">エンコードするテキスト</param> (継承元 Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストをトークン ID にエンコードします。

(継承元 Tokenizer)
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)

入力テキストを EncodedTokenの一覧にエンコードします。

(継承元 Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストを EncodedTokenの一覧にエンコードします。

(継承元 Tokenizer)
EncodeToTokens(String, String, Boolean, Boolean)

入力テキストを EncodedTokenの一覧にエンコードします。

(継承元 Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。

(継承元 Tokenizer)

適用対象