TokenizerResult Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
La codificación representa la salida de un tokenizador.
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- Herencia
-
TokenizerResult
Constructores
| Nombre | Description |
|---|---|
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
Cree un nuevo objeto del objeto TokenizerResult. |
Propiedades
| Nombre | Description |
|---|---|
| Ids |
Obtiene la lista de los identificadores de tokens. Los identificadores son la entrada principal de un modelo de lenguaje. Son los índices de token, las representaciones numéricas que entiende un LM. |
| NormalizedString |
Obtiene la forma normalizada de la cadena original. |
| Offsets |
Obtiene la lista de desplazamientos. Estos desplazamientos le permiten segmentar la cadena de entrada y, por tanto, recuperar la parte original que llevó a generar el token correspondiente. |
| OffsetsMappedToOriginalString |
Obtiene la forma normalizada de la cadena original. |
| OriginalString |
Obtiene la cadena con token original. |
| Tokens |
Obtiene los tokens generados. Son la representación de cadena de los identificadores. |