Tokenizer クラス

定義

名前空間:
Microsoft.ML.Tokenizers
アセンブリ:
Microsoft.ML.Tokenizers.dll
パッケージ:
Microsoft.ML.Tokenizers v1.0.1
パッケージ:
Microsoft.ML.Tokenizers v0.20.1
パッケージ:
Microsoft.ML.Tokenizers v0.22.0
パッケージ:
Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4
ソース:
Tokenizer.cs
ソース:
Tokenizer.cs
ソース:
Tokenizer.cs

トークナイザーの抽象化を提供し、テキストをトークンにエンコードし、トークン ID をテキストにデコードできるようにします。

public abstract class Tokenizer
public class Tokenizer
type Tokenizer = class
Public MustInherit Class Tokenizer
Public Class Tokenizer
継承
Object
Tokenizer
派生

コンストラクター

名前 説明
Tokenizer()

Tokenizer クラスの新しいインスタンスを初期化します。
Tokenizer(Model, PreTokenizer, Normalizer)

新しい Tokenizer オブジェクトを作成します。

プロパティ

名前 説明
Decoder

トークナイザーで使用されているデコーダーを取得または設定します。
Model

トークナイザーで使用されているモデルを取得します。
Normalizer

トークナイザーで使用されているノーマライザーを取得します。
PreTokenizer

トークナイザーで使用される PreTokenizer を取得します。

メソッド

名前 説明
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストがエンコードされるトークンの数を取得します。
CountTokens(String, Boolean, Boolean)

入力テキストがエンコードされるトークンの数を取得します。
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストがエンコードされるトークンの数を取得します。
Decode(IEnumerable<Int32>, Boolean)

指定した ID を文字列にデコードします。
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)

指定された ID をテキストにデコードし、結果を destination スパンに格納します。
Decode(IEnumerable<Int32>)

指定した ID を文字列にデコードします。
Decode(Int32, Boolean)

マップされたトークンに ID をデコードします。
Encode(String)

オブジェクトへの入力テキストのエンコードには、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

最大トークン数までのトークン ID に入力テキストをエンコードします。
EncodeToIds(String, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

最大トークン数までのトークン ID に入力テキストをエンコードします。

<param name="text">エンコードするテキスト</param>
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストをトークン ID にエンコードします。
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)

入力テキストを EncodedTokenの一覧にエンコードします。
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

入力テキストを EncodedTokenの一覧にエンコードします。
EncodeToTokens(String, String, Boolean, Boolean)

入力テキストを EncodedTokenの一覧にエンコードします。
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)

トークンの制限を超えることなく、最大エンコード容量のインデックスを見つけます。
TrainFromFiles(Trainer, ReportProgress, String[])

入力ファイルを使用してトークナイザー モデルをトレーニングします。

適用対象