CodeGenTokenizer.GetIndexByTokenCountFromEnd Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Surcharges
| Nom | Description |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale de la fin dans le texte sans dépasser la limite de jeton. |
| GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale de la fin dans le texte sans dépasser la limite de jeton. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Recherchez l’index de la capacité d’encodage maximale de la fin dans le texte sans dépasser la limite de jeton.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParamètres
- text
- ReadOnlySpan<Char>
Texte à encoder.
- maxTokenCount
- Int32
Nombre maximal de jetons pour limiter la capacité d’encodage.
- addPrefixSpace
- Boolean
Indiquez s’il faut inclure un espace de début avant d’encoder le texte.
- addBeginningOfSentence
- Boolean
Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.
- addEndOfSentence
- Boolean
Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.
- normalizedText
- String
Si la normalisation du tokenizer est activée, le texte d’entrée est représenté sous sa forme de normalisation ; sinon, il s’agit de null.
- tokenCount
- Int32
Le nombre de jetons peut être généré, qui doit être inférieur au nombre maximal de jetons.
- considerPreTokenization
- Boolean
Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.
- considerNormalization
- Boolean
Indiquez s’il faut envisager la normalisation avant la tokenisation.
Retours
Index de début de la capacité d’encodage maximale dans le texte traité sans dépasser la limite de jeton.
Il représente l’index au premier caractère à inclure. Dans les cas où aucun jeton n’est adapté, le résultat sera de longueur de l’élément ; à l’inverse normalizedText, si tous les jetons correspondent, le résultat sera 0.
Remarques
Si le texte entier peut être encodé dans la limite du jeton, l’index retourné est 0.
S’applique à
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Recherchez l’index de la capacité d’encodage maximale de la fin dans le texte sans dépasser la limite de jeton.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : string * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParamètres
- text
- String
Texte à encoder.
- maxTokenCount
- Int32
Nombre maximal de jetons pour limiter la capacité d’encodage.
- addPrefixSpace
- Boolean
Indiquez s’il faut inclure un espace de début avant d’encoder le texte.
- addBeginningOfSentence
- Boolean
Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.
- addEndOfSentence
- Boolean
Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.
- normalizedText
- String
Si la normalisation du tokenizer est activée, le texte d’entrée est représenté sous sa forme de normalisation ; sinon, il s’agit de null.
- tokenCount
- Int32
Le nombre de jetons peut être généré, qui doit être inférieur au nombre maximal de jetons.
- considerPreTokenization
- Boolean
Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.
- considerNormalization
- Boolean
Indiquez s’il faut envisager la normalisation avant la tokenisation.
Retours
Index de début de la capacité d’encodage maximale dans le texte traité sans dépasser la limite de jeton.
Il représente l’index au premier caractère à inclure. Dans les cas où aucun jeton n’est adapté, le résultat sera de longueur du texte ou de la normalizedText normalisation si la normalisation est activée ; à l’inverse, si tous les jetons conviennent, le résultat sera 0.
Remarques
Si le texte entier peut être encodé dans la limite du jeton, l’index retourné est 0.