CodeGenTokenizer.EncodeToIds メソッド

定義

名前空間:: Microsoft.ML.Tokenizers

アセンブリ:: Microsoft.ML.Tokenizers.dll

パッケージ:: Microsoft.ML.Tokenizers v1.0.1

パッケージ:: Microsoft.ML.Tokenizers v0.22.0

パッケージ:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

オーバーロード

名前	説明
EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	最大トークン数までのトークン ID に入力テキストをエンコードします。
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	入力テキストをトークン ID にエンコードします。
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	入力テキストをトークン ID にエンコードします。

EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

最大トークン数までのトークン ID に入力テキストをエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * bool * bool * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text: String

エンコードするテキスト。

maxTokenCount: Int32

エンコードするトークンの最大数。

addPrefixSpace: Boolean

テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。

addBeginningOfSentence: Boolean

エンコードに文トークンの先頭を含めるかどうかを示します。

addEndOfSentence: Boolean

エンコードに文末トークンを含めるかどうかを示します。

normalizedText: String

トークナイザーの正規化が有効になっている場合、入力テキストは正規化形式で表されます。それ以外の場合は null になります。

charsConsumed: Int32

エンコードされた最大トークンを含むテキストの長さ。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

IReadOnlyList<Int32>

エンコードされた ID の一覧。

適用対象

EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text: String

エンコードするテキスト。

addPrefixSpace: Boolean

テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。

addBeginningOfSentence: Boolean

エンコードに文トークンの先頭を含めるかどうかを示します。

addEndOfSentence: Boolean

エンコードに文末トークンを含めるかどうかを示します。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

IReadOnlyList<Int32>

エンコードされた ID の一覧。

適用対象

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

最大トークン数までのトークン ID に入力テキストをエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text: ReadOnlySpan<Char>

エンコードするテキスト。

maxTokenCount: Int32

エンコードするトークンの最大数。

addPrefixSpace: Boolean

テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。

addBeginningOfSentence: Boolean

エンコードに文トークンの先頭を含めるかどうかを示します。

addEndOfSentence: Boolean

エンコードに文末トークンを含めるかどうかを示します。

normalizedText: String

トークナイザーの正規化が有効になっている場合、入力テキストは正規化形式で表されます。それ以外の場合は null になります。

charsConsumed: Int32

エンコードされた最大トークンを含むテキストの長さ。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

IReadOnlyList<Int32>

エンコードされた ID の一覧。

適用対象

EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

入力テキストをトークン ID にエンコードします。

protected override Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>

Protected Overrides Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)

パラメーター

text: String

エンコードするテキスト。

textSpan: ReadOnlySpan<Char>

textがnullされている場合に使用されるエンコードするテキストのスパン。

settings: EncodeSettings

テキストのエンコードに使用する設定。

返品

EncodeResults<Int32>

エンコードされた ID の一覧を含むエンコードされた結果。

適用対象

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

ソース:: CodeGenTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text: ReadOnlySpan<Char>

エンコードするテキスト。

addPrefixSpace: Boolean

テキストをエンコードする前に先頭のスペースを含めるかどうかを示します。

addBeginningOfSentence: Boolean

エンコードに文トークンの先頭を含めるかどうかを示します。

addEndOfSentence: Boolean

エンコードに文末トークンを含めるかどうかを示します。

considerPreTokenization: Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization: Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

IReadOnlyList<Int32>

エンコードされた ID の一覧。

適用対象