Tokenizer.EncodeToIds Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. <param name="text">Testo da codificare.</Param> |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica il testo di input in ID token fino al numero massimo di token. |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica il testo di input in ID token. |
| EncodeToIds(String, Boolean, Boolean) |
Codifica il testo di input in ID token. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica il testo di input in ID token. |
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Codifica il testo di input in ID token fino al numero massimo di token.
<param name="text">Testo da codificare.</param>public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametri
- text
- String
- maxTokenCount
- Int32
Numero massimo di token da codificare.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata o <paramRef name="considerNormalization"></paramRef> è false, verrà impostata su <paramRef name="text"></paramRef> nel formato normalizzato; in caso contrario, questo valore verrà impostato su null.
- charsConsumed
- Int32
Numero di caratteri del testo che include i token con codifica massima.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Elenco di ID codificati.
Si applica a
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Codifica il testo di input in ID token fino al numero massimo di token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametri
- text
- ReadOnlySpan<Char>
Testo da codificare.
- maxTokenCount
- Int32
Numero massimo di token da codificare.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata o <paramRef name="considerNormalization"></paramRef> è false, verrà impostata su <paramRef name="text"></paramRef> nel formato normalizzato; in caso contrario, questo valore verrà impostato su null.
- charsConsumed
- Int32
Numero di caratteri del testo che include i token con codifica massima.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Elenco di ID codificati.
Si applica a
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Codifica il testo di input in ID token.
protected virtual Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>
override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>Protected Overridable Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)Parametri
- text
- String
Testo da codificare.
- textSpan
- ReadOnlySpan<Char>
Intervallo del testo da codificare che verrà utilizzato se text è null.
- settings
- EncodeSettings
Impostazioni utilizzate per codificare il testo.
Valori restituiti
Risultati codificati contenenti l'elenco di ID codificati.
Commenti
I tipi derivati da Tokenizer possono eseguire l'override di questa implementazione per fornire un'implementazione più efficiente. Per impostazione predefinita, usa EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).
Si applica a
EncodeToIds(String, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Codifica il testo di input in ID token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametri
- text
- String
Testo da codificare.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Elenco di ID codificati.
Si applica a
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Codifica il testo di input in ID token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parametri
- text
- ReadOnlySpan<Char>
Testo da codificare.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Elenco di ID codificati.