Tokenizer.CountTokens Méthode

Définition

Espace de noms:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paquet:: Microsoft.ML.Tokenizers v1.0.1

Paquet:: Microsoft.ML.Tokenizers v0.22.0

Paquet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Important

Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.

Surcharges

Nom	Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.
CountTokens(String, Boolean, Boolean)	Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

Source:: Tokenizer.cs

Source:: Tokenizer.cs

Source:: Tokenizer.cs

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : ReadOnlySpan<char> * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Paramètres

text: ReadOnlySpan<Char>

Texte à encoder.

considerPreTokenization: Boolean

Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.

considerNormalization: Boolean

Indiquez s’il faut envisager la normalisation avant la tokenisation.

Retours

Int32

Nombre d’ID de jeton auxquels le texte d’entrée sera encodé.

S’applique à

CountTokens(String, Boolean, Boolean)

Source:: Tokenizer.cs

Source:: Tokenizer.cs

Source:: Tokenizer.cs

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : string * bool * bool -> int

Public Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Paramètres

text: String

Texte à encoder.

considerPreTokenization: Boolean

Indiquez s’il faut envisager la pré-tokenisation avant la tokenisation.

considerNormalization: Boolean

Indiquez s’il faut envisager la normalisation avant la tokenisation.

Retours

Int32

Nombre d’ID de jeton auxquels le texte d’entrée sera encodé.

S’applique à

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Source:: Tokenizer.cs

Source:: Tokenizer.cs

Source:: Tokenizer.cs

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

Paramètres

text: String

Texte à encoder.

textSpan: ReadOnlySpan<Char>

Étendue du texte à encoder, qui sera utilisée si la valeur text est null.

settings: EncodeSettings

Paramètres utilisés pour encoder le texte.

Retours

Int32

Nombre d’ID de jeton auxquels le texte d’entrée sera encodé.

Remarques

Les types dérivés de Tokenizer cette implémentation peuvent remplacer cette implémentation pour fournir une implémentation plus efficace. Par défaut, il utilise EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).

S’applique à