BertTokenizer.EncodeToIds メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(String, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
| EncodeToIds(String, Boolean, Boolean, Boolean) |
入力テキストをトークン ID にエンコードします。 |
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- String
エンコードするテキスト。
- maxTokenCount
- Int32
返されるトークンの最大数。
- addSpecialTokens
- Boolean
エンコードされた ID に特別なトークンを追加するかどうかを示します。
- normalizedText
- String
正規化されたテキスト。
- charsConsumed
- Int32
入力テキストから使用された文字数。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- ReadOnlySpan<Char>
エンコードするテキスト。
- maxTokenCount
- Int32
返されるトークンの最大数。
- addSpecialTokens
- Boolean
エンコードされた ID に特別なトークンを追加するかどうかを示します。
- normalizedText
- String
正規化されたテキスト。
- charsConsumed
- Int32
入力テキストから使用された文字数。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- String
エンコードするテキスト。
- maxTokenCount
- Int32
返されるトークンの最大数。
- normalizedText
- String
正規化されたテキスト。
- charsConsumed
- Int32
入力テキストから使用された文字数。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- ReadOnlySpan<Char>
エンコードするテキスト。
- maxTokenCount
- Int32
返されるトークンの最大数。
- normalizedText
- String
正規化されたテキスト。
- charsConsumed
- Int32
入力テキストから使用された文字数。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- ReadOnlySpan<Char>
エンコードするテキスト。
- addSpecialTokens
- Boolean
エンコードされた ID に特別なトークンを追加するかどうかを示します。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(String, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- String
エンコードするテキスト。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- ReadOnlySpan<Char>
エンコードするテキスト。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。
適用対象
EncodeToIds(String, Boolean, Boolean, Boolean)
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
- ソース:
- BertTokenizer.cs
入力テキストをトークン ID にエンコードします。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
パラメーター
- text
- String
エンコードするテキスト。
- addSpecialTokens
- Boolean
エンコードされた ID に特別なトークンを追加するかどうかを示します。
- considerPreTokenization
- Boolean
トークン化の前に事前トークン化を検討するかどうかを示します。
- considerNormalization
- Boolean
トークン化の前に正規化を検討するかどうかを示します。
返品
エンコードされた ID の一覧。