CodeGenTokenizer.EncodeToTokens Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica el texto de entrada en una lista de EncodedTokens. |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens. |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Codifica el texto de entrada en una lista de EncodedTokens.
protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)Parámetros
- text
- String
Texto que se va a codificar.
- textSpan
- ReadOnlySpan<Char>
Intervalo del texto que se va a codificar, que se usará si text es null.
- settings
- EncodeSettings
Configuración que se usa para codificar el texto.
Devoluciones
Se aplica a
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parámetros
- text
- ReadOnlySpan<Char>
Texto que se va a codificar.
- addPrefixSpace
- Boolean
Indica si se debe incluir un espacio inicial antes de codificar el texto.
- addBeginningOfSentence
- Boolean
Indica si se debe incluir el principio del token de oración en la codificación.
- addEndOfSentence
- Boolean
Indica si se debe incluir el final del token de oración en la codificación.
- normalizedText
- String
Si la normalización del tokenizador está habilitada, el texto de entrada se representará en su forma de normalización; de lo contrario, será NULL.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
El resultado de la tokenización incluye la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.
Se aplica a
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
- Source:
- CodeGenTokenizer.cs
Codifica el texto de entrada en el objeto tiene la lista de tokens, identificadores de tokens, asignación de desplazamiento de tokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parámetros
- text
- String
Texto que se va a codificar.
- addPrefixSpace
- Boolean
Indica si se debe incluir un espacio inicial antes de codificar el texto.
- addBeginningOfSentence
- Boolean
Indica si se debe incluir el principio del token de oración en la codificación.
- addEndOfSentence
- Boolean
Indica si se debe incluir el final del token de oración en la codificación.
- normalizedText
- String
Si la normalización del tokenizador está habilitada, el texto de entrada se representará en su forma de normalización; de lo contrario, será NULL.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
El resultado de la tokenización incluye la lista de tokens, los identificadores de tokens, la asignación de desplazamiento de tokens.