CodeGenTokenizer.EncodeToTokens Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codiert Eingabetext in eine Liste von EncodedTokens. |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codiert Eingabetext für Objekt mit der Tokenliste, Token-IDs, Token-Offsetzuordnung. |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codiert Eingabetext für Objekt mit der Tokenliste, Token-IDs, Token-Offsetzuordnung. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
Codiert Eingabetext in eine Liste von EncodedTokens.
protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)Parameter
- text
- String
Der zu codierenden Text.
- textSpan
- ReadOnlySpan<Char>
Der Bereich des zu codierenden Texts, der verwendet wird, wenn dies der text Grund ist null.
- settings
- EncodeSettings
Die Einstellungen, die zum Codieren des Texts verwendet werden.
Gibt zurück
Gilt für:
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
Codiert Eingabetext für Objekt mit der Tokenliste, Token-IDs, Token-Offsetzuordnung.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parameter
- text
- ReadOnlySpan<Char>
Der zu codierenden Text.
- addPrefixSpace
- Boolean
Geben Sie an, ob vor dem Codieren des Texts ein führendes Leerzeichen eingeschlossen werden soll.
- addBeginningOfSentence
- Boolean
Geben Sie an, ob der Anfang des Satztokens in die Codierung eingeschlossen werden soll.
- addEndOfSentence
- Boolean
Geben Sie an, ob das Ende des Satztokens in die Codierung eingeschlossen werden soll.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist, wird der Eingabetext in seiner Normalisierungsform dargestellt. andernfalls wird er null sein.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Das Tokenisierungsergebnis enthält die Tokenliste, Token-IDs, Token-Offsetzuordnung.
Gilt für:
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
- Quelle:
- CodeGenTokenizer.cs
Codiert Eingabetext für Objekt mit der Tokenliste, Token-IDs, Token-Offsetzuordnung.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parameter
- text
- String
Der zu codierenden Text.
- addPrefixSpace
- Boolean
Geben Sie an, ob vor dem Codieren des Texts ein führendes Leerzeichen eingeschlossen werden soll.
- addBeginningOfSentence
- Boolean
Geben Sie an, ob der Anfang des Satztokens in die Codierung eingeschlossen werden soll.
- addEndOfSentence
- Boolean
Geben Sie an, ob das Ende des Satztokens in die Codierung eingeschlossen werden soll.
- normalizedText
- String
Wenn die Normalisierung des Tokenizers aktiviert ist, wird der Eingabetext in seiner Normalisierungsform dargestellt. andernfalls wird er null sein.
- considerPreTokenization
- Boolean
Geben Sie an, ob vor der Tokenisierung vor der Tokenisierung berücksichtigt werden soll.
- considerNormalization
- Boolean
Geben Sie an, ob die Normalisierung vor der Tokenisierung berücksichtigt werden soll.
Gibt zurück
Das Tokenisierungsergebnis enthält die Tokenliste, Token-IDs, Token-Offsetzuordnung.