Tokenizer.CountTokens Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. |
| CountTokens(String, Boolean, Boolean) |
Ottenere il numero di token a cui verrà codificato il testo di input. |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Ottenere il numero di token a cui verrà codificato il testo di input. |
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Ottenere il numero di token a cui verrà codificato il testo di input.
public int CountTokens(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.CountTokens : ReadOnlySpan<char> * bool * bool -> intPublic Function CountTokens (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParametri
- text
- ReadOnlySpan<Char>
Testo da codificare.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Numero di ID token a cui verrà codificato il testo di input.
Si applica a
CountTokens(String, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Ottenere il numero di token a cui verrà codificato il testo di input.
public int CountTokens(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.CountTokens : string * bool * bool -> intPublic Function CountTokens (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParametri
- text
- String
Testo da codificare.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Numero di ID token a cui verrà codificato il testo di input.
Si applica a
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Ottenere il numero di token a cui verrà codificato il testo di input.
protected virtual int CountTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> int
override this.CountTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> intProtected Overridable Function CountTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As IntegerParametri
- text
- String
Testo da codificare.
- textSpan
- ReadOnlySpan<Char>
Intervallo del testo da codificare che verrà utilizzato se text è null.
- settings
- EncodeSettings
Impostazioni utilizzate per codificare il testo.
Valori restituiti
Numero di ID token a cui verrà codificato il testo di input.
Commenti
I tipi derivati da Tokenizer possono eseguire l'override di questa implementazione per fornire un'implementazione più efficiente. Per impostazione predefinita, usa EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).