CodeGenTokenizer.EncodeToTokens Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica o texto de entrada em uma lista de EncodedTokens. |
| EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codifica o texto de entrada para objeto tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens. |
| EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean) |
Codifica o texto de entrada para objeto tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
Codifica o texto de entrada em uma lista de EncodedTokens.
protected override Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);override this.EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected Overrides Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)Parâmetros
- text
- String
O texto a ser codificado.
- textSpan
- ReadOnlySpan<Char>
O intervalo do texto a ser codificado, que será usado se for textnull.
- settings
- EncodeSettings
As configurações usadas para codificar o texto.
Retornos
Aplica-se a
EncodeToTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
Codifica o texto de entrada para objeto tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : ReadOnlySpan<char> * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parâmetros
- text
- ReadOnlySpan<Char>
O texto a ser codificado.
- addPrefixSpace
- Boolean
Indique se deve incluir um espaço à esquerda antes de codificar o texto.
- addBeginningOfSentence
- Boolean
Indique se deve incluir o início do token de sentença na codificação.
- addEndOfSentence
- Boolean
Indique se o token de fim de frase deve ser incluído na codificação.
- normalizedText
- String
Se a normalização do tokenizer estiver habilitada, o texto de entrada será representado no formulário de normalização; caso contrário, ele será nulo.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
O resultado da tokenização inclui a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens.
Aplica-se a
EncodeToTokens(String, Boolean, Boolean, Boolean, String, Boolean, Boolean)
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
- Origem:
- CodeGenTokenizer.cs
Codifica o texto de entrada para objeto tem a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, bool addPrefixSpace, bool addBeginningOfSentence, bool addEndOfSentence, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);override this.EncodeToTokens : string * bool * bool * bool * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, addPrefixSpace As Boolean, addBeginningOfSentence As Boolean, addEndOfSentence As Boolean, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parâmetros
- text
- String
O texto a ser codificado.
- addPrefixSpace
- Boolean
Indique se deve incluir um espaço à esquerda antes de codificar o texto.
- addBeginningOfSentence
- Boolean
Indique se deve incluir o início do token de sentença na codificação.
- addEndOfSentence
- Boolean
Indique se o token de fim de frase deve ser incluído na codificação.
- normalizedText
- String
Se a normalização do tokenizer estiver habilitada, o texto de entrada será representado no formulário de normalização; caso contrário, ele será nulo.
- considerPreTokenization
- Boolean
Indique se deve considerar a pré-tokenização antes da tokenização.
- considerNormalization
- Boolean
Indique se deve considerar a normalização antes da tokenização.
Retornos
O resultado da tokenização inclui a lista de tokens, IDs de tokens, mapeamento de deslocamento de tokens.