Bpe 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
表示位元組對編碼模型。
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- 繼承
建構函式
| 名稱 | Description |
|---|---|
| Bpe() |
建立一個新的 Bpe 模型物件，沒有分詞詞彙。 此構造器僅在訓練情境中有用。 |
| Bpe(String, String, String, String, String) |
建立一個新的 Bpe 模型物件，用於句子分詞和分詞器訓練。 |
屬性
| 名稱 | Description |
|---|---|
| ContinuingSubwordPrefix |
一個用於每個非詞首子詞的前綴 |
| Decoder |
取得 Bpe 解碼器物件。 |
| EndOfWordSuffix |
一個可選的後綴用來描述詞尾及詞尾子詞 |
| FuseUnknownTokens |
是否允許多個未知標記被融合，取得或設定 |
| UnknownToken |
取得或設定未知標記。 遇到未知角色時使用的未知標記 |
方法
| 名稱 | Description |
|---|---|
| GetTrainer() |
取得一個訓練器物件用於訓練模型並產生詞彙，並合併資料。 |
| GetVocab() |
取得字典將標記映射到 ID。 |
| GetVocabSize() |
它會得到字典大小，將標記映射到 ID。 |
| IdToToken(Int32, Boolean) |
將分牌化的 ID 對應到該分牌。 |
| Save(String, String) |
將模型資料儲存到詞彙表中並合併檔案。 |
| Tokenize(String) |
將序列字串分成一個令牌清單。 |
| TokenToId(String) |
將標記映射到標記化的 ID。 |