CodeGenTokenizer.CountTokens Método

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Sobrecargas

Nombre	Description
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Obtenga el número de tokens en los que se codificará el texto de entrada.
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada.
CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Obtenga el número de tokens en los que se codificará el texto de entrada.

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Obtenga el número de tokens en los que se codificará el texto de entrada.

protected override int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overrides Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

Parámetros

text: String

Texto que se va a codificar.

textSpan: ReadOnlySpan<Char>

Intervalo del texto que se va a codificar, que se usará si text es null.

settings: EncodeSettings

Configuración que se usa para codificar el texto.

Devoluciones

Int32

Número de identificadores de token en los que se codificará el texto de entrada.

Se aplica a

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Obtenga el número de tokens en los que se codificará el texto de entrada.

public int CountTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : ReadOnlySpan<char> * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parámetros

text: ReadOnlySpan<Char>

Texto que se va a codificar.

addPrefixSpace: Boolean

Indica si se debe incluir un espacio inicial antes de codificar el texto.

addBeginningOfSentence: Boolean

Indica si se debe incluir el principio del token de oración en la codificación.

addEndOfSentence: Boolean

Indica si se debe incluir el final del token de oración en la codificación.

considerPreTokenization: Boolean

Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.

considerNormalization: Boolean

Indica si se debe considerar la normalización antes de la tokenización.

Devoluciones

Int32

Número de identificadores de tokens en los que se codificará el texto de entrada.

Se aplica a

CountTokens(String, Boolean, Boolean, Boolean, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Obtenga el número de tokens en los que se codificará el texto de entrada.

public int CountTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.CountTokens : string * bool * bool * bool * bool * bool -> int

Public Function CountTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parámetros

text: String

Texto que se va a codificar.

addPrefixSpace: Boolean

Indica si se debe incluir un espacio inicial antes de codificar el texto.

addBeginningOfSentence: Boolean

Indica si se debe incluir el principio del token de oración en la codificación.

addEndOfSentence: Boolean

Indica si se debe incluir el final del token de oración en la codificación.

considerPreTokenization: Boolean

Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.

considerNormalization: Boolean

Indica si se debe considerar la normalización antes de la tokenización.

Devoluciones

Int32

Número de identificadores de tokens en los que se codificará el texto de entrada.

Se aplica a