Phi2Tokenizer Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Représente le modèle d’encodage de paire d’octets. Implémenter le tokenizer Phi2 décrit dans https://huggingface.co/microsoft/phi-2
public sealed class Phi2Tokenizer : Microsoft.ML.Tokenizers.CodeGenTokenizertype Phi2Tokenizer = class
inherit CodeGenTokenizerPublic NotInheritable Class Phi2Tokenizer
Inherits CodeGenTokenizer- Héritage
Propriétés
| Nom | Description |
|---|---|
| AddBeginningOfSentence |
Obtient l’indicateur indiquant s’il faut inclure le début du jeton de phrase dans l’encodage. (Hérité de CodeGenTokenizer) |
| AddEndOfSentence |
Obtient l’indicateur indiquant s’il faut inclure la fin du jeton de phrase dans l’encodage. (Hérité de CodeGenTokenizer) |
| AddPrefixSpace |
Obtient l’indicateur indiquant s’il faut inclure un espace de début avant d’encoder le texte. (Hérité de CodeGenTokenizer) |
| BeginningOfSentenceId |
Obtient la fin de l’ID du jeton de phrase. (Hérité de CodeGenTokenizer) |
| BeginningOfSentenceToken |
Obtient le début du jeton de phrase. (Hérité de CodeGenTokenizer) |
| EndOfSentenceId |
Obtient la fin de l’ID du jeton de phrase. (Hérité de CodeGenTokenizer) |
| EndOfSentenceToken |
Obtient la fin du jeton de phrase. (Hérité de CodeGenTokenizer) |
| Normalizer |
Obtient le normaliseur en cours d’utilisation par le tokenizer. (Hérité de CodeGenTokenizer) |
| PreTokenizer |
Obtient le PreTokenizer utilisé par le tokenizer. (Hérité de CodeGenTokenizer) |
| SpecialTokens |
Obtient les jetons ajoutés. (Hérité de CodeGenTokenizer) |
| UnknownToken |
Jeton inconnu. (Hérité de CodeGenTokenizer) |
| UnknownTokenId |
Obtient l’ID de jeton inconnu. (Hérité de CodeGenTokenizer) |
| Vocabulary |
Obtient les jetons de mappage de dictionnaire en ID. (Hérité de CodeGenTokenizer) |
Méthodes
| Nom | Description |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de CodeGenTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de Tokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de CodeGenTokenizer) |
| CountTokens(String, Boolean, Boolean) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé. (Hérité de CodeGenTokenizer) |
| Create(Stream, Stream, Boolean, Boolean, Boolean) |
Créez un tokenizer CodeGen Phi2 à partir des flux vocaux donnés et fusionnez. |
| Decode(IEnumerable<Int32>, Boolean, Boolean) |
Décodez les ID donnés, revenez à une chaîne. (Hérité de CodeGenTokenizer) |
| Decode(IEnumerable<Int32>, Span<Char>, Boolean, Boolean, Int32, Int32) |
Décodez les ID donnés en texte et stockez le résultat dans l’étendue |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Décodez les ID donnés en texte et stockez le résultat dans l’étendue |
| Decode(IEnumerable<Int32>) |
Décodez les ID donnés, revenez à une chaîne. (Hérité de CodeGenTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean) |
Encode le texte d’entrée dans les ID de jetons. (Hérité de CodeGenTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton. (Hérité de Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jetons jusqu’au nombre maximal de jetons. (Hérité de CodeGenTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton jusqu’au nombre maximal de jetons. (Hérité de Tokenizer) |
| EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean) |
Encode le texte d’entrée dans les ID de jetons. (Hérité de CodeGenTokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton. (Hérité de Tokenizer) |
| EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jetons jusqu’au nombre maximal de jetons. (Hérité de CodeGenTokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Encode le texte d’entrée vers les ID de jeton jusqu’au nombre maximal de jetons. <param name="text">The text to encode.</Param> (Hérité de Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée vers les ID de jeton. (Hérité de CodeGenTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons. (Hérité de CodeGenTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. (Hérité de Tokenizer) |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Encode le texte d’entrée à l’objet a la liste des jetons, les ID de jetons, le mappage de décalage de jetons. (Hérité de CodeGenTokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Encode le texte d’entrée dans une liste de EncodedTokens. (Hérité de CodeGenTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Encode le texte d’entrée dans une liste de EncodedTokens. (Hérité de Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale à partir du début dans le texte sans dépasser la limite de jetons. (Hérité de CodeGenTokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCount(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale à partir du début dans le texte sans dépasser la limite de jetons. (Hérité de CodeGenTokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de CodeGenTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale de la fin dans le texte sans dépasser la limite de jeton. (Hérité de CodeGenTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale de la fin dans le texte sans dépasser la limite de jeton. (Hérité de CodeGenTokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons. (Hérité de Tokenizer) |