Language

BertTokenizer.EncodeToIds メソッド

定義

オーバーロード

名前 説明
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(String, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(String, Boolean, Boolean, Boolean)

入力テキストをトークン ID にエンコードします。

EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
String

エンコードするテキスト。

maxTokenCount
Int32

返されるトークンの最大数。

addSpecialTokens
Boolean

エンコードされた ID に特別なトークンを追加するかどうかを示します。

normalizedText
String

正規化されたテキスト。

charsConsumed
Int32

入力テキストから使用された文字数。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
ReadOnlySpan<Char>

エンコードするテキスト。

maxTokenCount
Int32

返されるトークンの最大数。

addSpecialTokens
Boolean

エンコードされた ID に特別なトークンを追加するかどうかを示します。

normalizedText
String

正規化されたテキスト。

charsConsumed
Int32

入力テキストから使用された文字数。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
String

エンコードするテキスト。

maxTokenCount
Int32

返されるトークンの最大数。

normalizedText
String

正規化されたテキスト。

charsConsumed
Int32

入力テキストから使用された文字数。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
ReadOnlySpan<Char>

エンコードするテキスト。

maxTokenCount
Int32

返されるトークンの最大数。

normalizedText
String

正規化されたテキスト。

charsConsumed
Int32

入力テキストから使用された文字数。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
ReadOnlySpan<Char>

エンコードするテキスト。

addSpecialTokens
Boolean

エンコードされた ID に特別なトークンを追加するかどうかを示します。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(String, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
String

エンコードするテキスト。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
ReadOnlySpan<Char>

エンコードするテキスト。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象

EncodeToIds(String, Boolean, Boolean, Boolean)

ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs
ソース:
BertTokenizer.cs

入力テキストをトークン ID にエンコードします。

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

パラメーター

text
String

エンコードするテキスト。

addSpecialTokens
Boolean

エンコードされた ID に特別なトークンを追加するかどうかを示します。

considerPreTokenization
Boolean

トークン化の前に事前トークン化を検討するかどうかを示します。

considerNormalization
Boolean

トークン化の前に正規化を検討するかどうかを示します。

返品

エンコードされた ID の一覧。

適用対象