SentencePieceNormalizer クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
SentencePiece の正規化に従って文字列を正規化します。
public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizer
type SentencePieceNormalizer = class
inherit Normalizer
Public NotInheritable Class SentencePieceNormalizer
Inherits Normalizer
- 継承
コンストラクター
| 名前 | 説明 |
|---|---|
| SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>) |
SentencePieceNormalizer オブジェクトを作成します。 |
プロパティ
| 名前 | 説明 |
|---|---|
| AddDummyPrefix |
エンコード中に、文トークンの先頭にダミーのプレフィックス文字 U+2581 を出力することを示します。 |
| EscapeWhiteSpaces |
ダミーのプレフィックス文字 U+2581 を追加して、空白をエスケープすることを示します。 |
| RemoveExtraWhiteSpaces |
正規化中に元の文字列から余分な空白を削除したことを示します。 |
| SpecialTokens |
追加されたトークンを示します。 |
| TreatWhitespaceAsSuffix |
空白をサフィックスとして扱う方法を示します。 |
メソッド
| 名前 | 説明 |
|---|---|
| Normalize(ReadOnlySpan<Char>) |
SentencePiece の正規化に従って、元の文字列を正規化します。 |
| Normalize(String) |
SentencePiece の正規化に従って、元の文字列を正規化します。 |