Langue

CodeGenTokenizer.EncodeToTokens Méthode

Définition

Surcharges

Nom Description
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Encode le texte d’entrée dans une liste de EncodedTokens.

EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)

Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.

EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)

Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.

EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Source:
CodeGenTokenizer.cs
Source:
CodeGenTokenizer.cs
Source:
CodeGenTokenizer.cs

Encode le texte d’entrée dans une liste de EncodedTokens.

protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);
override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>
Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)

Paramètres

text
String

Texte à encoder.

textSpan
ReadOnlySpan<Char>

Étendue du texte à encoder, qui sera utilisée si la valeur text est null.

settings
EncodeSettings

Paramètres utilisés pour encoder le texte.

Retours

S’applique à

EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)

Source:
CodeGenTokenizer.cs
Source:
CodeGenTokenizer.cs
Source:
CodeGenTokenizer.cs

Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.

public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>
Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)

Paramètres

text
ReadOnlySpan<Char>

Texte à encoder.

addPrefixSpace
Boolean

Indiquez s’il faut inclure un espace de début avant d’encoder le texte.

addBeginningOfSentence
Boolean

Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.

addEndOfSentence
Boolean

Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.

normalizedText
String

Si la normalisation du tokenizer est activée, le texte d’entrée est représenté sous sa forme de normalisation ; sinon, elle a la valeur Null.

considerPreTokenization
Boolean

Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.

considerNormalization
Boolean

Indiquez s’il faut envisager la normalisation avant la tokenisation.

Retours

Le résultat de la tokenisation inclut la liste des jetons, les ID de jetons, le mappage de décalage des jetons.

S’applique à

EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)

Source:
CodeGenTokenizer.cs
Source:
CodeGenTokenizer.cs
Source:
CodeGenTokenizer.cs

Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.

public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>
Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)

Paramètres

text
String

Texte à encoder.

addPrefixSpace
Boolean

Indiquez s’il faut inclure un espace de début avant d’encoder le texte.

addBeginningOfSentence
Boolean

Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.

addEndOfSentence
Boolean

Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.

normalizedText
String

Si la normalisation du tokenizer est activée, le texte d’entrée est représenté sous sa forme de normalisation ; sinon, elle a la valeur Null.

considerPreTokenization
Boolean

Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.

considerNormalization
Boolean

Indiquez s’il faut envisager la normalisation avant la tokenisation.

Retours

Le résultat de la tokenisation inclut la liste des jetons, les ID de jetons, le mappage de décalage des jetons.

S’applique à