Language

Model クラス

定義

トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。

public abstract class Model
type Model = class
Public MustInherit Class Model
継承
Model
派生

コンストラクター

名前 説明
Model()

トークン化中に使用されるモデル (BPE、Word Piece、Unigram など) を表します。

メソッド

名前 説明
GetTrainer()

モデルのトレーニングに使用するトレーナー オブジェクトを取得します。

GetVocab()

ID へのディクショナリ マッピング トークンを取得します。

GetVocabSize()

トークンを ID にマップするディクショナリ サイズを取得します。

IdToToken(Int32, Boolean)

トークン化された ID をトークンにマップします。

Save(String, String)

モデル データをボキャブラリに保存し、ファイルをマージします。

Tokenize(String)

シーケンス文字列をトークンの一覧にトークン化します。

TokenToId(String)

トークンをトークン化された ID にマップします。

適用対象