BertOptions 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
Bert 分詞器的選項。
public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptionstype BertOptions = class
inherit WordPieceOptionsPublic NotInheritable Class BertOptions
Inherits WordPieceOptions- 繼承
建構函式
| 名稱 | Description |
|---|---|
| BertOptions() |
Bert 分詞器的選項。 |
屬性
| 名稱 | Description |
|---|---|
| ApplyBasicTokenization |
取得或設定一個值，指示是否應用基本分詞化。 |
| ClassificationToken |
取得或設定分類令牌以使用。 |
| ContinuingSubwordPrefix |
取得或設定前綴用於非單字首部分的子詞。 (繼承來源 WordPieceOptions) |
| IndividuallyTokenizeCjk |
會取得或設定一個值，指示是否將日韓漢字分成獨立的分子。 |
| LowerCaseBeforeTokenization |
取得或設定一個值，指示在分詞化前是否將輸入縮小。 |
| MaskingToken |
取得或設定遮蔽標記的使用權杖。 |
| MaxInputCharsPerWord |
取得或設定單一單字可考慮的最大字元數。 (繼承來源 WordPieceOptions) |
| Normalizer |
如果需要，可以設定或設定 Normalizer 來覆寫預設正規化器。 (繼承來源 WordPieceOptions) |
| PaddingToken |
取得或設定填充標記的使用權杖。 |
| PreTokenizer |
如果需要，可以設定或設定 PreTokenizer 來覆寫預設正規化器。 (繼承來源 WordPieceOptions) |
| RemoveNonSpacingMarks |
取得或設定一個值，指示是否移除非間距標記。 |
| SeparatorToken |
取得或設定分隔符代幣使用。 |
| SpecialTokens |
取得或設定特殊代幣來使用。 (繼承來源 WordPieceOptions) |
| SplitOnSpecialTokens |
會獲得或設定一個值，指示是否要在特殊標記上分拆。 |
| UnknownToken |
取得或設定未知標記以使用。 (繼承來源 WordPieceOptions) |