CodeGenTokenizer.GetIndexByTokenCountFromEnd Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens. |
| GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean) |
Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens. |
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens.
public int GetIndexByTokenCountFromEnd(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParámetros
- text
- ReadOnlySpan<Char>
Texto que se va a codificar.
- maxTokenCount
- Int32
Número máximo de tokens para limitar la capacidad de codificación.
- addPrefixSpace
- Boolean
Indica si se debe incluir un espacio inicial antes de codificar el texto.
- addBeginningOfSentence
- Boolean
Indica si se debe incluir el principio del token de oración en la codificación.
- addEndOfSentence
- Boolean
Indica si se debe incluir el final del token de oración en la codificación.
- normalizedText
- String
Si la normalización del tokenizador está habilitada, el texto de entrada se representará en su forma de normalización; de lo contrario, será NULL.
- tokenCount
- Int32
El recuento de tokens se puede generar que debe ser menor que el número máximo de tokens.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Índice inicial de la capacidad de codificación máxima dentro del texto procesado sin superar el límite de tokens.
Representa el índice en el primer carácter que se va a incluir. En los casos en los que no caben tokens, el resultado será la longitud de normalizedText; por el contrario, si todos los tokens caben, el resultado será 0.
Comentarios
Si todo el texto se puede codificar dentro del límite de tokens, el índice devuelto será 0.
Se aplica a
GetIndexByTokenCountFromEnd(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Busque el índice de la capacidad de codificación máxima desde el final dentro del texto sin superar el límite de tokens.
public int GetIndexByTokenCountFromEnd(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int tokenCount, bool considerPreTokenization = true, bool considerNormalization = true);override this.GetIndexByTokenCountFromEnd : string * int * bool * bool * bool * string * int * bool * bool -> intPublic Function GetIndexByTokenCountFromEnd (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef tokenCount As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IntegerParámetros
- text
- String
Texto que se va a codificar.
- maxTokenCount
- Int32
Número máximo de tokens para limitar la capacidad de codificación.
- addPrefixSpace
- Boolean
Indica si se debe incluir un espacio inicial antes de codificar el texto.
- addBeginningOfSentence
- Boolean
Indica si se debe incluir el principio del token de oración en la codificación.
- addEndOfSentence
- Boolean
Indica si se debe incluir el final del token de oración en la codificación.
- normalizedText
- String
Si la normalización del tokenizador está habilitada, el texto de entrada se representará en su forma de normalización; de lo contrario, será NULL.
- tokenCount
- Int32
El recuento de tokens se puede generar que debe ser menor que el número máximo de tokens.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Índice inicial de la capacidad de codificación máxima dentro del texto procesado sin superar el límite de tokens.
Representa el índice en el primer carácter que se va a incluir. En los casos en los que no caben tokens, el resultado será la longitud del texto o si normalizedText la normalización está habilitada; por el contrario, si todos los tokens caben, el resultado será 0.
Comentarios
Si todo el texto se puede codificar dentro del límite de tokens, el índice devuelto será 0.