Tokenizer.EncodeToIds Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. <param name="text">El texto que se va a codificar.</param> |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens. |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica el texto de entrada en identificadores de token. |
| EncodeToIds(String, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica el texto de entrada en identificadores de token. |
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens.
<param name="text">El texto que se va a codificar.</param>public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parámetros
- text
- String
- maxTokenCount
- Int32
Número máximo de tokens que se van a codificar.
- normalizedText
- String
Si la normalización del tokenizador está habilitada o <paramRef name="considerNormalization"></paramRef> es false, se establecerá <en paramRef name="text"></paramRef> en su forma normalizada; de lo contrario, este valor se establecerá nullen .
- charsConsumed
- Int32
Recuento de caracteres del texto que abarca el número máximo de tokens codificados.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Lista de identificadores codificados.
Se aplica a
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en identificadores de token hasta el número máximo de tokens.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parámetros
- text
- ReadOnlySpan<Char>
Texto que se va a codificar.
- maxTokenCount
- Int32
Número máximo de tokens que se van a codificar.
- normalizedText
- String
Si la normalización del tokenizador está habilitada o <paramRef name="considerNormalization"></paramRef> es false, se establecerá <en paramRef name="text"></paramRef> en su forma normalizada; de lo contrario, este valor se establecerá nullen .
- charsConsumed
- Int32
Recuento de caracteres del texto que abarca el número máximo de tokens codificados.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Lista de identificadores codificados.
Se aplica a
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en identificadores de token.
protected virtual Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>
override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>Protected Overridable Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)Parámetros
- text
- String
Texto que se va a codificar.
- textSpan
- ReadOnlySpan<Char>
Intervalo del texto que se va a codificar, que se usará si text es null.
- settings
- EncodeSettings
Configuración que se usa para codificar el texto.
Devoluciones
Resultados codificados que contienen la lista de identificadores codificados.
Comentarios
Los tipos derivados de Tokenizer pueden invalidar esta implementación para proporcionar una implementación más eficaz. De forma predeterminada, usa EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings).
Se aplica a
EncodeToIds(String, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en identificadores de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parámetros
- text
- String
Texto que se va a codificar.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Lista de identificadores codificados.
Se aplica a
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en identificadores de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)Parámetros
- text
- ReadOnlySpan<Char>
Texto que se va a codificar.
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Lista de identificadores codificados.