Tokenizer.EncodeToTokens Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Sobrecargas
| Nombre | Description |
|---|---|
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codifica el texto de entrada en una lista de EncodedTokens. |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codifica el texto de entrada en una lista de EncodedTokens. |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codifica el texto de entrada en una lista de EncodedTokens. |
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en una lista de EncodedTokens.
protected abstract Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string? text, ReadOnlySpan<char> textSpan, Microsoft.ML.Tokenizers.EncodeSettings settings);abstract member EncodeToTokens : string * ReadOnlySpan<char> * Microsoft.ML.Tokenizers.EncodeSettings -> Microsoft.ML.Tokenizers.EncodeResults<Microsoft.ML.Tokenizers.EncodedToken>Protected MustOverride Function EncodeToTokens (text As String, textSpan As ReadOnlySpan(Of Char), settings As EncodeSettings) As EncodeResults(Of EncodedToken)Parámetros
- text
- String
Texto que se va a codificar.
- textSpan
- ReadOnlySpan<Char>
Intervalo del texto que se va a codificar, que se usará si text es null.
- settings
- EncodeSettings
Configuración que se usa para codificar el texto.
Devoluciones
Se aplica a
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en una lista de EncodedTokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(ReadOnlySpan<char> text, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToTokens : ReadOnlySpan<char> * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As ReadOnlySpan(Of Char), ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parámetros
- text
- ReadOnlySpan<Char>
Texto que se va a codificar.
- normalizedText
- String
Si la normalización del tokenizador está habilitada o <paramRef name="considerNormalization"></paramRef> es false, se establecerá <en paramRef name="text"></paramRef> en su forma normalizada; de lo contrario, este valor se establecerá nullen .
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Lista de s codificados EncodedToken.
Se aplica a
EncodeToTokens(String, String, Boolean, Boolean)
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
- Source:
- Tokenizer.cs
Codifica el texto de entrada en una lista de EncodedTokens.
public System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken> EncodeToTokens(string text, out string? normalizedText, bool considerPreTokenization = true, bool considerNormalization = true);member this.EncodeToTokens : string * string * bool * bool -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.EncodedToken>Public Function EncodeToTokens (text As String, ByRef normalizedText As String, Optional considerPreTokenization As Boolean = true, Optional considerNormalization As Boolean = true) As IReadOnlyList(Of EncodedToken)Parámetros
- text
- String
Texto que se va a codificar.
- normalizedText
- String
Si la normalización del tokenizador está habilitada o <paramRef name="considerNormalization"></paramRef> es false, se establecerá <en paramRef name="text"></paramRef> en su forma normalizada; de lo contrario, este valor se establecerá nullen .
- considerPreTokenization
- Boolean
Indica si se debe tener en cuenta la tokenización previa antes de la tokenización.
- considerNormalization
- Boolean
Indica si se debe considerar la normalización antes de la tokenización.
Devoluciones
Lista de s codificados EncodedToken.