CodeGenTokenizer.EncodeToTokens メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
入力テキストを EncodedTokenの一覧にエンコードします。 |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
オブジェクトへの入力テキストのエンコードには、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。 |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
オブジェクトへの入力テキストのエンコードには、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。 |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
入力テキストを EncodedTokenの一覧にエンコードします。
protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)パラメーター
- text
- String
エンコードするテキスト。
- textSpan
- ReadOnlySpan<Char>
textがnullされている場合に使用されるエンコードするテキストのスパン。
- settings
- EncodeSettings
テキストのエンコードに使用する設定。
返品
適用対象
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)
オブジェクトへの入力テキストのエンコードには、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)パラメーター
- text
- ReadOnlySpan<Char>
エンコードするテキスト。
- addPrefixSpace
- Boolean
テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。
- addBeginningOfSentence
- Boolean
エンコードに文トークンの先頭を含めるかどうかを示します。
- addEndOfSentence
- Boolean
エンコードに文末トークンを含めるかどうかを示します。
- normalizedText
- String
トークナイザーの正規化が有効になっている場合、入力テキストは正規化形式で表されます。それ以外の場合は null になります。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
トークン化の結果には、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。
適用対象
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)
オブジェクトへの入力テキストのエンコードには、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)パラメーター
- text
- String
エンコードするテキスト。
- addPrefixSpace
- Boolean
テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。
- addBeginningOfSentence
- Boolean
エンコードに文トークンの先頭を含めるかどうかを示します。
- addEndOfSentence
- Boolean
エンコードに文末トークンを含めるかどうかを示します。
- normalizedText
- String
トークナイザーの正規化が有効になっている場合、入力テキストは正規化形式で表されます。それ以外の場合は null になります。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
トークン化の結果には、トークン リスト、トークン ID、トークン オフセット マッピングが含まれます。