語言

Model 類別

定義

代表在代幣化過程中使用的模型(如 BPE、Word Piece 或 Unigram)。

public abstract class Model
type Model = class
Public MustInherit Class Model
繼承
Model
衍生

建構函式

名稱 Description
Model()

代表在代幣化過程中使用的模型(如 BPE、Word Piece 或 Unigram)。

方法

名稱 Description
GetTrainer()

取得一個訓練器物件來訓練模型。

GetVocab()

取得字典將標記映射到 ID。

GetVocabSize()

它會得到字典大小,將標記映射到 ID。

IdToToken(Int32, Boolean)

將分牌化的 ID 對應到該分牌。

Save(String, String)

將模型資料儲存到詞彙表中並合併檔案。

Tokenize(String)

將序列字串分成一個令牌清單。

TokenToId(String)

將標記映射到標記化的 ID。

適用於