CodeGenTokenizer.EncodeToTokens Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Surcharges
| Nom | Description |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée dans une liste de EncodedTokens. |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons. |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Encode le texte d’entrée dans une liste de EncodedTokens.
protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);
override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>
Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)
Paramètres
- text
- String
Texte à encoder.
- textSpan
- ReadOnlySpan<Char>
Étendue du texte à encoder, qui sera utilisée si la valeur text est null.
- settings
- EncodeSettings
Paramètres utilisés pour encoder le texte.
Retours
S’applique à
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>
Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)
Paramètres
- text
- ReadOnlySpan<Char>
Texte à encoder.
- addPrefixSpace
- Boolean
Indiquez s’il faut inclure un espace de début avant d’encoder le texte.
- addBeginningOfSentence
- Boolean
Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.
- addEndOfSentence
- Boolean
Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.
- normalizedText
- String
Si la normalisation du tokenizer est activée, le texte d’entrée est représenté sous sa forme de normalisation ; sinon, elle a la valeur Null.
- considerPreTokenization
- Boolean
Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.
- considerNormalization
- Boolean
Indiquez s’il faut envisager la normalisation avant la tokenisation.
Retours
Le résultat de la tokenisation inclut la liste des jetons, les ID de jetons, le mappage de décalage des jetons.
S’applique à
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>
Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)
Paramètres
- text
- String
Texte à encoder.
- addPrefixSpace
- Boolean
Indiquez s’il faut inclure un espace de début avant d’encoder le texte.
- addBeginningOfSentence
- Boolean
Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.
- addEndOfSentence
- Boolean
Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.
- normalizedText
- String
Si la normalisation du tokenizer est activée, le texte d’entrée est représenté sous sa forme de normalisation ; sinon, elle a la valeur Null.
- considerPreTokenization
- Boolean
Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.
- considerNormalization
- Boolean
Indiquez s’il faut envisager la normalisation avant la tokenisation.
Retours
Le résultat de la tokenisation inclut la liste des jetons, les ID de jetons, le mappage de décalage des jetons.