BertTokenizer クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
Bert モデルのトークナイザー。
public sealed class BertTokenizer : Microsoft.ML.Tokenizers.WordPieceTokenizertype BertTokenizer = class
inherit WordPieceTokenizerPublic NotInheritable Class BertTokenizer
Inherits WordPieceTokenizer- 継承
注釈
BertTokenizer は WordPieceTokenizer に基づいており、Bert モデルのテキストをトークン化するために使用されます。 BertTokenizer の実装は、Hugging Face Transformers ライブラリの元の Bert 実装に基づいています。 https://huggingface.co/transformers/v3.0.2/model_doc/bert.html?highlight=berttokenizerfast#berttokenizer
プロパティ
| 名前 | 説明 |
|---|---|
| ApplyBasicTokenization |
トークナイザーが基本的なトークン化を実行する必要があるかどうかを示す値を取得します。 クリーン テキストと同様に、正規化、小文字化などを行います。 |
| ClassificationToken |
シーケンス分類を行うときに使用される分類子トークンを取得します (トークンごとの分類ではなく、シーケンス全体の分類)。 これは、特別なトークンを使用して構築された場合のシーケンスの最初のトークンです。 |
| ClassificationTokenId |
分類子トークン ID を取得します。 |
| ContinuingSubwordPrefix |
単語の最初の部分ではないサブワードに使用するプレフィックスを取得します。 (継承元 WordPieceTokenizer) |
| IndividuallyTokenizeCjk |
トークナイザーが CJK 文字をトークンに分割する必要があるかどうかを示す値を取得します。 |
| LowerCaseBeforeTokenization |
トークナイザーで入力テキストを小文字にするかどうかを示す値を取得します。 |
| MaskingToken |
マスク値に使用されるマスク トークンを取得します。 これは、マスクされた言語モデリングを使用してこのモデルをトレーニングするときに使用されるトークンです。 これは、モデルが予測しようとするトークンです。 |
| MaskingTokenId |
マスク トークン ID を取得します |
| MaxInputCharsPerWord |
1 つの単語で承認する最大文字数を取得します。 (継承元 WordPieceTokenizer) |
| Normalizer |
トークナイザーで使用されているノーマライザーを取得します。 (継承元 WordPieceTokenizer) |
| PaddingToken |
さまざまな長さのシーケンスをバッチ処理する場合など、パディングに使用されるトークンを取得します |
| PaddingTokenId |
埋め込みトークン ID を取得します |
| PreTokenizer |
トークナイザーで使用される PreTokenizer を取得します。 (継承元 WordPieceTokenizer) |
| RemoveNonSpacingMarks |
空白以外のマークを削除するかどうかを示す値を取得します。 |
| SeparatorToken |
区切り記号トークンを取得します。これは、複数のシーケンスからシーケンスを構築するときに使用されます。たとえば、シーケンス分類用またはテキスト用の 2 つのシーケンスと、質問への回答に関する質問などです。 また、特殊なトークンを使用して構築されたシーケンスの最後のトークンとしても使用されます。 |
| SeparatorTokenId |
区切り記号トークン ID を取得します。 |
| SpecialTokens |
特殊なトークンとそれに対応する ID を取得します。 (継承元 WordPieceTokenizer) |
| SplitOnSpecialTokens |
トークナイザーを特別なトークンで分割するか、特別なトークンを通常のテキストとして扱うかを示す値を取得します。 |
| UnknownToken |
不明なトークンを取得します。 ボキャブラリにないトークンは ID に変換できず、代わりにこのトークンに設定されます。 (継承元 WordPieceTokenizer) |
| UnknownTokenId |
不明なトークン ID を取得します。 ボキャブラリにないトークンは ID に変換できず、代わりにこのトークンに設定されます。 (継承元 WordPieceTokenizer) |