Tokenizer.EncodeToIds 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
多載
| 名稱 | Description |
|---|---|
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
將輸入文字編碼為標記 ID，最多可達最大標記數。 <param name=“text”> 要編碼的文字。</param> |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
將輸入文字編碼為標記 ID，最多可達最大標記數。 |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
將輸入文字編碼為標記 ID。 |
| EncodeToIds(String, Boolean, Boolean) |
將輸入文字編碼為標記 ID。 |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
將輸入文字編碼為標記 ID。 |
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
將輸入文字編碼為標記 ID，最多可達最大標記數。
<param name=“text”> 要編碼的文字。</param>public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)參數
- text
- String
- maxTokenCount
- Int32
最多要編碼的標記數量。
- normalizedText
- String
若分詞器的正規化已啟用，或 <paramRef 名稱=“considerNormalization”></paramRef> 是 false，則會以正規化形式設定為 <paramRef name=“text”></paramRef> ;否則，此值將設為 null。
- charsConsumed
- Int32
字元數佔包含最大編碼標記的文字。
- considerPreTokenization
- Boolean
說明是否在分詞化前考慮預先分詞化。
- considerNormalization
- Boolean
說明是否在分詞前考慮正規化。
傳回
編碼的 ID 清單。
適用於
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
將輸入文字編碼為標記 ID，最多可達最大標記數。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)參數
- text
- ReadOnlySpan<Char>
要編碼的文字。
- maxTokenCount
- Int32
最多要編碼的標記數量。
- normalizedText
- String
若分詞器的正規化已啟用，或 <paramRef 名稱=“considerNormalization”></paramRef> 是 false，則會以正規化形式設定為 <paramRef name=“text”></paramRef> ;否則，此值將設為 null。
- charsConsumed
- Int32
字元數佔包含最大編碼標記的文字。
- considerPreTokenization
- Boolean
說明是否在分詞化前考慮預先分詞化。
- considerNormalization
- Boolean
說明是否在分詞前考慮正規化。
傳回
編碼的 ID 清單。
適用於
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
將輸入文字編碼為標記 ID。
protected virtual Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>
override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>Protected Overridable Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)參數
- text
- String
要編碼的文字。
- textSpan
- ReadOnlySpan<Char>
如果 為 textnull，則會使用的文字範圍。
- settings
- EncodeSettings
編碼文字的設定。
傳回
包含編碼 ID 列表的編碼結果。
備註
由 衍生 Tokenizer 出的型別可能會覆寫此實作，以提供更有效率的實作。 預設情況下，它使用 EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)。
適用於
EncodeToIds(String, Boolean, Boolean)
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
將輸入文字編碼為標記 ID。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)參數
- text
- String
要編碼的文字。
- considerPreTokenization
- Boolean
說明是否在分詞化前考慮預先分詞化。
- considerNormalization
- Boolean
說明是否在分詞前考慮正規化。
傳回
編碼的 ID 清單。
適用於
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
- 來源:
- Tokenizer.cs
將輸入文字編碼為標記 ID。
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)參數
- text
- ReadOnlySpan<Char>
要編碼的文字。
- considerPreTokenization
- Boolean
說明是否在分詞化前考慮預先分詞化。
- considerNormalization
- Boolean
說明是否在分詞前考慮正規化。
傳回
編碼的 ID 清單。