BertTokenizer.EncodeToIds Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(String, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
| EncodeToIds(String, Boolean, Boolean, Boolean) |
Codifica o texto de entrada em IDs de token. |
EncodeToIds(String, Int32, Boolean, String, Int32, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- String
O texto a ser codificado.
- maxTokenCount
- Int32
O número máximo de tokens a serem retornados.
- addSpecialTokens
- Boolean
Indique se os tokens especiais devem ser adicionados às IDs codificadas.
- normalizedText
- String
O texto normalizado.
- charsConsumed
- Int32
O número de caracteres consumidos do texto de entrada.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(ReadOnlySpan<Char>, Int32, Boolean, String, Int32, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, bool addSpecialTokens, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * bool * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, addSpecialTokens As Boolean, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- ReadOnlySpan<Char>
O texto a ser codificado.
- maxTokenCount
- Int32
O número máximo de tokens a serem retornados.
- addSpecialTokens
- Boolean
Indique se os tokens especiais devem ser adicionados às IDs codificadas.
- normalizedText
- String
O texto normalizado.
- charsConsumed
- Int32
O número de caracteres consumidos do texto de entrada.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- String
O texto a ser codificado.
- maxTokenCount
- Int32
O número máximo de tokens a serem retornados.
- normalizedText
- String
O texto normalizado.
- charsConsumed
- Int32
O número de caracteres consumidos do texto de entrada.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, int maxTokenCount, out string? normalizedText, out int charsConsumed, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * int * string * int * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), maxTokenCount As Integer, ByRef normalizedText As String, ByRef charsConsumed As Integer, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- ReadOnlySpan<Char>
O texto a ser codificado.
- maxTokenCount
- Int32
O número máximo de tokens a serem retornados.
- normalizedText
- String
O texto normalizado.
- charsConsumed
- Int32
O número de caracteres consumidos do texto de entrada.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- ReadOnlySpan<Char>
O texto a ser codificado.
- addSpecialTokens
- Boolean
Indique se os tokens especiais devem ser adicionados às IDs codificadas.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(String, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- String
O texto a ser codificado.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(ReadOnlySpan<char> text, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : ReadOnlySpan<char> * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As ReadOnlySpan(Of Char), Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- ReadOnlySpan<Char>
O texto a ser codificado.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.
Aplica-se a
EncodeToIds(String, Boolean, Boolean, Boolean)
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
- Origem:
- BertTokenizer.cs
Codifica o texto de entrada em IDs de token.
public System.Collections.Generic.IReadOnlyList<int> EncodeToIds(string text, bool addSpecialTokens, bool considerPreTokenization = true, bool considerNormalization = true);
override this.EncodeToIds : string * bool * bool * bool -> System.Collections.Generic.IReadOnlyList<int>
Public Function EncodeToIds (text As String, addSpecialTokens As Boolean, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of Integer)
Parâmetros
- text
- String
O texto a ser codificado.
- addSpecialTokens
- Boolean
Indique se os tokens especiais devem ser adicionados às IDs codificadas.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
A lista de IDs codificadas.