CodeGenTokenizer.CountTokens Méthode

Définition

Espace de noms:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paquet:: Microsoft.ML.Tokenizers v1.0.1

Paquet:: Microsoft.ML.Tokenizers v0.22.0

Paquet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Important

Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.

Surcharges

Nom	Description
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

protected override int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overrides Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

Paramètres

text: String

Texte à encoder.

textSpan: ReadOnlySpan<Char>

Étendue du texte à encoder, qui sera utilisée si la valeur text est null.

settings: EncodeSettings

Paramètres utilisés pour encoder le texte.

Retours

Int32

Nombre d’ID de jeton auxquels le texte d’entrée sera encodé.

S’applique à

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

public int CountTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : ReadOnlySpan<char> * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Paramètres

text: ReadOnlySpan<Char>

Texte à encoder.

addPrefixSpace: Boolean

Indiquez s’il faut inclure un espace de début avant d’encoder le texte.

addBeginningOfSentence: Boolean

Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.

addEndOfSentence: Boolean

Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.

considerPreTokenization: Boolean

Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.

considerNormalization: Boolean

Indiquez s’il faut envisager la normalisation avant la tokenisation.

Retours

Int32

Nombre d’ID de jetons auxquels le texte d’entrée sera encodé.

S’applique à

CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

public int CountTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : string * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Paramètres

text: String

Texte à encoder.

addPrefixSpace: Boolean

Indiquez s’il faut inclure un espace de début avant d’encoder le texte.

addBeginningOfSentence: Boolean

Indiquez s’il faut inclure le début du jeton de phrase dans l’encodage.

addEndOfSentence: Boolean

Indiquez s’il faut inclure la fin du jeton de phrase dans l’encodage.

considerPreTokenization: Boolean

Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.

considerNormalization: Boolean

Indiquez s’il faut envisager la normalisation avant la tokenisation.

Retours

Int32

Nombre d’ID de jetons auxquels le texte d’entrée sera encodé.

S’applique à