Tokenizer.GetIndexByTokenCountFromEnd Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Trovare l'indice della capacità di codifica massima senza superare il limite di token. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Trovare l'indice della capacità di codifica massima senza superare il limite di token.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);member this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParametri
- text
- ReadOnlySpan<Char>
Testo da codificare.
- maxTokenCount
- Int32
Numero massimo di token da codificare.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata o <paramRef name="considerPreTokenization"></paramRef> è false, verrà impostata su <paramRef name="text"></paramRef> nel formato normalizzato; in caso contrario, questo valore verrà impostato su null.
- tokenCount
- Int32
Il numero di token può essere generato che deve essere inferiore al numero massimo di token.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Indice della capacità di codifica massima all'interno del testo elaborato senza superare il limite di token. Rappresenta l'indice del primo carattere da includere. Nei casi in cui non si adattano token, il risultato sarà la lunghezza del testo; viceversa, se tutti i token rientrano, il risultato sarà zero.
Si applica a
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
- Origine:
- Tokenizer.cs
Trovare l'indice della capacità di codifica massima senza superare il limite di token.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);member this.GetIndexByTokenCountFromEnd : string * int * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParametri
- text
- String
Testo da codificare.
- maxTokenCount
- Int32
Numero massimo di token da codificare.
- normalizedText
- String
Se la normalizzazione del tokenizer è abilitata o <paramRef name="considerPreTokenization"></paramRef> è false, verrà impostata su <paramRef name="text"></paramRef> nel formato normalizzato; in caso contrario, questo valore verrà impostato su null.
- tokenCount
- Int32
Il numero di token può essere generato che deve essere inferiore al numero massimo di token.
- considerPreTokenization
- Boolean
Indicare se prendere in considerazione la pre-tokenizzazione prima della tokenizzazione.
- considerNormalization
- Boolean
Indicare se prendere in considerazione la normalizzazione prima della tokenizzazione.
Valori restituiti
Indice della capacità di codifica massima all'interno del testo elaborato senza superare il limite di token. Rappresenta l'indice del primo carattere da includere. Nei casi in cui non si adattano token, il risultato sarà la lunghezza del testo; viceversa, se tutti i token rientrano, il risultato sarà zero.