EncodedToken Estructura
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Representa el token generado a partir del proceso de tokenización que contiene la subcadena del token, el identificador asociado a la subcadena del token y la asignación de desplazamiento a la cadena original.
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- Herencia
-
EncodedToken
- Implementaciones
Constructores
| Nombre | Description |
|---|---|
| EncodedToken(Int32, String, Range) |
Construya un nuevo objeto Token mediante el valor del token, el identificador y la asignación de desplazamiento a la cadena original. |
Propiedades
| Nombre | Description |
|---|---|
| Id |
Obtiene el valor id asociado al token. |
| Offset |
Obtiene la asignación de desplazamiento a la cadena original. |
| Value |
Obtiene el valor de la cadena del token. |
Métodos
| Nombre | Description |
|---|---|
| Equals(EncodedToken) |
Representa el token generado a partir del proceso de tokenización que contiene la subcadena del token, el identificador asociado a la subcadena del token y la asignación de desplazamiento a la cadena original. |