|
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)
|
入力テキストがエンコードされるトークンの数を取得します。
(継承元 Tokenizer)
|
|
CountTokens(String, Boolean, Boolean)
|
入力テキストがエンコードされるトークンの数を取得します。
(継承元 Tokenizer)
|
|
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)
|
入力テキストがエンコードされるトークンの数を取得します。
|
|
Create(Stream, WordPieceOptions)
|
WordPieceTokenizer クラスの新しいインスタンスを作成します。
|
|
Create(String, WordPieceOptions)
|
WordPieceTokenizer クラスの新しいインスタンスを作成します。
|
|
CreateAsync(Stream, WordPieceOptions, CancellationToken)
|
WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。
|
|
CreateAsync(String, WordPieceOptions, CancellationToken)
|
WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。
|
|
Decode(IEnumerable<Int32>, Boolean)
|
指定した ID を文字列にデコードします。
|
|
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)
|
指定された ID をテキストにデコードし、結果を destination スパンに格納します。
|
|
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)
|
指定された ID をテキストにデコードし、結果を destination スパンに格納します。
|
|
Decode(IEnumerable<Int32>)
|
指定した ID を文字列にデコードします。
|
|
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
|
入力テキストをトークン ID にエンコードします。
(継承元 Tokenizer)
|
|
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
|
最大トークン数までのトークン ID に入力テキストをエンコードします。
(継承元 Tokenizer)
|
|
EncodeToIds(String, Boolean, Boolean)
|
入力テキストをトークン ID にエンコードします。
(継承元 Tokenizer)
|
|
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
|
最大トークン数までのトークン ID に入力テキストをエンコードします。
<param name="text">エンコードするテキスト</param>
(継承元 Tokenizer)
|
|
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)
|
入力テキストをトークン ID にエンコードします。
|
|
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)
|
入力テキストを EncodedTokenの一覧にエンコードします。
(継承元 Tokenizer)
|
|
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
|
入力テキストを EncodedTokenの一覧にエンコードします。
|
|
EncodeToTokens(String, String, Boolean, Boolean)
|
入力テキストを EncodedTokenの一覧にエンコードします。
(継承元 Tokenizer)
|
|
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
|
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
(継承元 Tokenizer)
|
|
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)
|
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
(継承元 Tokenizer)
|
|
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)
|
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
|
|
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
|
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
(継承元 Tokenizer)
|
|
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)
|
トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
(継承元 Tokenizer)
|