Tokenizer.CountTokens Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Obtenga el número de tokens en los que se codificará el texto de entrada. |
| CountTokens(String, Boolean, Boolean) |
Obtenga el número de tokens en los que se codificará el texto de entrada. |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Obtenga el número de tokens en los que se codificará el texto de entrada. |
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Obtenga el número de tokens en los que se codificará el texto de entrada.
public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.CountTokens : ReadOnlySpan<char> * bool * bool -> intPublic Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParámetros
- text
- ReadOnlySpan<Char>
Texto que se va a codificar.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Número de identificadores de token en los que se codificará el texto de entrada.
Se aplica a
CountTokens(String, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Obtenga el número de tokens en los que se codificará el texto de entrada.
public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.CountTokens : string * bool * bool -> intPublic Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParámetros
- text
- String
Texto que se va a codificar.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Número de identificadores de token en los que se codificará el texto de entrada.
Se aplica a
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Obtenga el número de tokens en los que se codificará el texto de entrada.
protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> intProtected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As IntegerParámetros
- text
- String
Texto que se va a codificar.
- textSpan
- ReadOnlySpan<Char>
Intervalo del texto que se va a codificar, que se usará si text es null.
- settings
- EncodeSettings
Configuración que se usa para codificar el texto.
Devoluciones
Número de identificadores de token en los que se codificará el texto de entrada.
Comentarios
Los tipos derivados de Tokenizer pueden invalidar esta implementación para proporcionar una implementación más eficaz. De forma predeterminada, usa EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).