Tokenizer.Encode(String) メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オブジェクトへの入力テキストのエンコードには、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResultパラメーター
- sequence
- String
トークン化するテキスト。
返品
トークン化の結果には、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。