WordPieceOptions クラス

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

WordPiece トークナイザーのオプション。

public class WordPieceOptions

type WordPieceOptions = class

Public Class WordPieceOptions

名前	説明
WordPieceOptions()	WordPiece トークナイザーのオプション。

名前	説明
ContinuingSubwordPrefix	単語の最初の部分ではないサブワードに使用するプレフィックスを取得または設定します。
MaxInputCharsPerWord	1 つの単語について考慮する最大文字数を取得または設定します。
Normalizer	必要に応じて、既定のノーマライザーをオーバーライドする Normalizer を取得または設定します。
PreTokenizer	必要に応じて、既定のノーマライザーをオーバーライドする PreTokenizer を取得または設定します。
SpecialTokens	使用する特別なトークンを取得または設定します。
UnknownToken	使用する不明なトークンを取得または設定します。