CodeGenTokenizer.EncodeToTokens Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica il testo di input in un elenco di EncodedToken. |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codifica il testo di input nell'oggetto con l'elenco dei token, gli ID dei token, il mapping degli offset dei token. |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codifica il testo di input nell'oggetto con l'elenco dei token, gli ID dei token, il mapping degli offset dei token. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
Codifica il testo di input in un elenco di EncodedToken.
protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)Parametri
- text
- String
Testo da codificare.
- textSpan
- ReadOnlySpan<Char>
Intervallo del testo da codificare che verrà utilizzato se text è null.
- settings
- EncodeSettings
Impostazioni utilizzate per codificare il testo.
Valori restituiti
Si applica a
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
Codifica il testo di input nell'oggetto con l'elenco dei token, gli ID dei token, il mapping degli offset dei token.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parametri
- text
- ReadOnlySpan<Char>
Testo da codificare.
- addPrefixSpace
- Boolean
Indicare se includere uno spazio iniziale prima di codificare il testo.
- addBeginningOfSentence
- Boolean
Indicare se includere l'inizio del token di frase nella codifica.
- addEndOfSentence
- Boolean
Indicare se includere la fine del token di frase nella codifica.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata, il testo di input verrà rappresentato nel formato di normalizzazione; in caso contrario, verrà null.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Il risultato della tokenizzazione include l'elenco dei token, gli ID dei token, il mapping degli offset dei token.
Si applica a
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
- Origine:
- CodeGenTokenizer.cs
Codifica il testo di input nell'oggetto con l'elenco dei token, gli ID dei token, il mapping degli offset dei token.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parametri
- text
- String
Testo da codificare.
- addPrefixSpace
- Boolean
Indicare se includere uno spazio iniziale prima di codificare il testo.
- addBeginningOfSentence
- Boolean
Indicare se includere l'inizio del token di frase nella codifica.
- addEndOfSentence
- Boolean
Indicare se includere la fine del token di frase nella codifica.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata, il testo di input verrà rappresentato nel formato di normalizzazione; in caso contrario, verrà null.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Il risultato della tokenizzazione include l'elenco dei token, gli ID dei token, il mapping degli offset dei token.