PreTokenizer クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
すべての事前トークナイザー クラスの基本クラス。 PreTokenizer は、事前セグメント化ステップの実行を担当します。
public abstract class PreTokenizertype PreTokenizer = classPublic MustInherit Class PreTokenizer- 継承
-
PreTokenizer
- 派生
コンストラクター
| 名前 | 説明 |
|---|---|
| PreTokenizer() |
すべての事前トークナイザー クラスの基本クラス。 PreTokenizer は、事前セグメント化ステップの実行を担当します。 |
メソッド
| 名前 | 説明 |
|---|---|
| CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) |
空白でテキストを分割する PreTokenizer クラスの新しいインスタンスを作成します。 |
| CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>) |
単語または単語以外の境界でテキストを分割する PreTokenizer クラスの新しいインスタンスを作成します。 単語は、アルファベット、数字、およびアンダースコア文字のセットです。 |
| CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>) |
空白文字または句読点文字でテキストを分割する PreTokenizer クラスの新しいインスタンスを作成します。 |
| PreTokenize(ReadOnlySpan<Char>) |
元の文字列に対するトークンのオフセットと長さを取得します。 |
| PreTokenize(String) |
|