Tokenizer.CountTokens Método

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v1.0.1

Pacote:: Microsoft.ML.Tokenizers v0.22.0

Pacote:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Sobrecargas

Nome	Description
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Obtenha o número de tokens aos quais o texto de entrada será codificado.
CountTokens(String, Boolean, Boolean)	Obtenha o número de tokens aos quais o texto de entrada será codificado.
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Obtenha o número de tokens aos quais o texto de entrada será codificado.

CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Obtenha o número de tokens aos quais o texto de entrada será codificado.

public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : ReadOnlySpan<char> * bool * bool -> int

Public Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parâmetros

text: ReadOnlySpan<Char>

O texto a ser codificado.

considerPreTokenization: Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization: Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

Int32

O número de IDs de token às quais o texto de entrada será codificado.

Aplica-se a

CountTokens(String, Boolean, Boolean)

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Obtenha o número de tokens aos quais o texto de entrada será codificado.

public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);

member this.CountTokens : string * bool * bool -> int

Public Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As Integer

Parâmetros

text: String

O texto a ser codificado.

considerPreTokenization: Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization: Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

Int32

O número de IDs de token às quais o texto de entrada será codificado.

Aplica-se a

CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Origem:: Tokenizer.cs

Obtenha o número de tokens aos quais o texto de entrada será codificado.

protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int

Protected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As Integer

Parâmetros

text: String

O texto a ser codificado.

textSpan: ReadOnlySpan<Char>

O intervalo do texto a ser codificado, que será usado se for textnull.

settings: EncodeSettings

As configurações usadas para codificar o texto.

Retornos

Int32

O número de IDs de token às quais o texto de entrada será codificado.

Comentários

Os tipos derivados Tokenizer podem substituir essa implementação para fornecer uma implementação mais eficiente. Por predefinição, utiliza EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).

Aplica-se a