TokenizerResult Classe

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v0.20.1

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

A codificação representa a saída de um Tokenizer.

public sealed class TokenizerResult

type TokenizerResult = class

Public NotInheritable Class TokenizerResult

Herança: Object
TokenizerResult

Construtores

Nome	Description
TokenizerResult(String, String, IReadOnlyList<Split>, Boolean)	Crie um novo objeto do objeto TokenizerResult.

Propriedades

Nome	Description
Ids	Obtém a lista das IDs de tokens. As IDs são a entrada principal para um modelo de linguagem. Eles são os índices de token, as representações numéricas que um LM entende.
NormalizedString	Obtém a forma normalizada da cadeia de caracteres original.
Offsets	Obtém a lista de deslocamentos. Esses deslocamentos permitem que você corte a cadeia de caracteres de entrada e, portanto, recupere a parte original que levou à produção do token correspondente.
OffsetsMappedToOriginalString	Obtém a forma normalizada da cadeia de caracteres original.
OriginalString	Obtém a cadeia de caracteres tokenizada original.
Tokens	Obtém os tokens gerados. Elas são a representação de cadeia de caracteres das IDs.

Aplica-se a