CodeGenTokenizer.EncodeToIds Método

Definición

Espacio de nombres:: Microsoft.ML.Tokenizers

Ensamblado:: Microsoft.ML.Tokenizers.dll

Paquete:: Microsoft.ML.Tokenizers v1.0.1

Paquete:: Microsoft.ML.Tokenizers v0.22.0

Paquete:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Importante

Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.

Sobrecargas

Nombre	Description
EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens.
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens.
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens.
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica el texto de entrada en identificadores de token.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)	Codifica el texto de entrada en los identificadores de tokens.

EncodeToIds(String, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * int * bool * bool * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parámetros

text: String

Texto que se va a codificar.

maxTokenCount: Int32

Número máximo de tokens que se van a codificar.

addPrefixSpace: Boolean

Indica si se debe incluir un espacio inicial antes de codificar el texto.

addBeginningOfSentence: Boolean

Indica si se debe incluir el principio del token de oración en la codificación.

addEndOfSentence: Boolean

Indica si se debe incluir el final del token de oración en la codificación.

normalizedText: String

Si la normalización del tokenizador está habilitada, el texto de entrada se representará en su forma de normalización; de lo contrario, será NULL.

charsConsumed: Int32

Longitud del texto que abarca el número máximo de tokens codificados.

considerPreTokenization: Boolean

Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.

considerNormalization: Boolean

Indica si se debe considerar la normalización antes de la tokenización.

Devoluciones

IReadOnlyList<Int32>

Lista de identificadores codificados.

Se aplica a

EncodeToIds(String, Boolean, Boolean, Boolean, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Codifica el texto de entrada en los identificadores de tokens.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : string * bool * bool * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parámetros

text: String

Texto que se va a codificar.

addPrefixSpace: Boolean

Indica si se debe incluir un espacio inicial antes de codificar el texto.

addBeginningOfSentence: Boolean

Indica si se debe incluir el principio del token de oración en la codificación.

addEndOfSentence: Boolean

Indica si se debe incluir el final del token de oración en la codificación.

considerPreTokenization: Boolean

Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.

considerNormalization: Boolean

Indica si se debe considerar la normalización antes de la tokenización.

Devoluciones

IReadOnlyList<Int32>

Lista de identificadores codificados.

Se aplica a

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, Boolean, Boolean, String, Int32, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Codifica el texto de entrada en los identificadores de tokens hasta el número máximo de tokens.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * int * bool * bool * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parámetros

text: ReadOnlySpan<Char>

Texto que se va a codificar.

maxTokenCount: Int32

Número máximo de tokens que se van a codificar.

addPrefixSpace: Boolean

Indica si se debe incluir un espacio inicial antes de codificar el texto.

addBeginningOfSentence: Boolean

Indica si se debe incluir el principio del token de oración en la codificación.

addEndOfSentence: Boolean

Indica si se debe incluir el final del token de oración en la codificación.

normalizedText: String

Si la normalización del tokenizador está habilitada, el texto de entrada se representará en su forma de normalización; de lo contrario, será NULL.

charsConsumed: Int32

Longitud del texto que abarca el número máximo de tokens codificados.

considerPreTokenization: Boolean

Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.

considerNormalization: Boolean

Indica si se debe considerar la normalización antes de la tokenización.

Devoluciones

IReadOnlyList<Int32>

Lista de identificadores codificados.

Se aplica a

EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Codifica el texto de entrada en identificadores de token.

protected override Microsoft.ML.Tokenizers.EncodeResults<int> EncodeToIds(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);

override this.EncodeToIds : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<int>

Protected Overrides Function EncodeToIds (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of Integer)

Parámetros

text: String

Texto que se va a codificar.

textSpan: ReadOnlySpan<Char>

Intervalo del texto que se va a codificar, que se usará si text es null.

settings: EncodeSettings

Configuración que se usa para codificar el texto.

Devoluciones

EncodeResults<Int32>

Resultados codificados que contienen la lista de identificadores codificados.

Se aplica a

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, Boolean)

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Source:: CodeGenTokenizer.cs

Codifica el texto de entrada en los identificadores de tokens.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, bool considerPreTokenization = true, bool considerNormalization = true);

override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>

Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parámetros

text: ReadOnlySpan<Char>

Texto que se va a codificar.

addPrefixSpace: Boolean

Indica si se debe incluir un espacio inicial antes de codificar el texto.

addBeginningOfSentence: Boolean

Indica si se debe incluir el principio del token de oración en la codificación.

addEndOfSentence: Boolean

Indica si se debe incluir el final del token de oración en la codificación.

considerPreTokenization: Boolean

Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.

considerNormalization: Boolean

Indica si se debe considerar la normalización antes de la tokenización.

Devoluciones

IReadOnlyList<Int32>

Lista de identificadores codificados.

Se aplica a