Idioma

BertTokenizer.EncodeToIds Método

Definição

Sobrecargas

Nome Description
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(String, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(String, Boolean, Boolean, Boolean)

Codifica o texto de entrada em IDs de token.

EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
String

O texto a ser codificado.

maxTokenCount
Int32

O número máximo de tokens a serem retornados.

addSpecialTokens
Boolean

Indique se os tokens especiais devem ser adicionados às IDs codificadas.

normalizedText
String

O texto normalizado.

charsConsumed
Int32

O número de caracteres consumidos do texto de entrada.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
ReadOnlySpan<Char>

O texto a ser codificado.

maxTokenCount
Int32

O número máximo de tokens a serem retornados.

addSpecialTokens
Boolean

Indique se os tokens especiais devem ser adicionados às IDs codificadas.

normalizedText
String

O texto normalizado.

charsConsumed
Int32

O número de caracteres consumidos do texto de entrada.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
String

O texto a ser codificado.

maxTokenCount
Int32

O número máximo de tokens a serem retornados.

normalizedText
String

O texto normalizado.

charsConsumed
Int32

O número de caracteres consumidos do texto de entrada.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
ReadOnlySpan<Char>

O texto a ser codificado.

maxTokenCount
Int32

O número máximo de tokens a serem retornados.

normalizedText
String

O texto normalizado.

charsConsumed
Int32

O número de caracteres consumidos do texto de entrada.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
ReadOnlySpan<Char>

O texto a ser codificado.

addSpecialTokens
Boolean

Indique se os tokens especiais devem ser adicionados às IDs codificadas.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(String, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
String

O texto a ser codificado.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
ReadOnlySpan<Char>

O texto a ser codificado.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a

EncodeToIds(String, Boolean, Boolean, Boolean)

Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs
Origem:
BertTokenizer.cs

Codifica o texto de entrada em IDs de token.

public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)

Parâmetros

text
String

O texto a ser codificado.

addSpecialTokens
Boolean

Indique se os tokens especiais devem ser adicionados às IDs codificadas.

considerPreTokenization
Boolean

Indique se deve considerar a pré-tokenização antes da tokenização.

considerNormalization
Boolean

Indique se deve considerar a normalização antes da tokenização.

Retornos

A lista de IDs codificadas.

Aplica-se a