Language

SentencePieceNormalizer クラス

定義

SentencePiece の正規化に従って文字列を正規化します。

public sealed class SentencePieceNormalizer : Microsoft.ML.Tokenizers.Normalizer
type SentencePieceNormalizer = class
    inherit Normalizer
Public NotInheritable Class SentencePieceNormalizer
Inherits Normalizer
継承
SentencePieceNormalizer

コンストラクター

名前 説明
SentencePieceNormalizer(Boolean, Boolean, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)

SentencePieceNormalizer オブジェクトを作成します。

プロパティ

名前 説明
AddDummyPrefix

エンコード中に、文トークンの先頭にダミーのプレフィックス文字 U+2581 を出力することを示します。

EscapeWhiteSpaces

ダミーのプレフィックス文字 U+2581 を追加して、空白をエスケープすることを示します。

RemoveExtraWhiteSpaces

正規化中に元の文字列から余分な空白を削除したことを示します。

SpecialTokens

追加されたトークンを示します。

TreatWhitespaceAsSuffix

空白をサフィックスとして扱う方法を示します。

メソッド

名前 説明
Normalize(ReadOnlySpan<Char>)

SentencePiece の正規化に従って、元の文字列を正規化します。

Normalize(String)

SentencePiece の正規化に従って、元の文字列を正規化します。

適用対象