EncodedToken Estrutura
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Represente o token produzido a partir do processo de tokenização que contém a subcadeia de caracteres de token, a ID associada à subcadeia de caracteres do token e o mapeamento de deslocamento para a cadeia de caracteres original.
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- Herança
-
EncodedToken
- Implementações
Construtores
| Nome | Description |
|---|---|
| EncodedToken(Int32, String, Range) |
Construa um novo objeto Token usando o valor do token, a ID e o mapeamento de deslocamento para a cadeia de caracteres original. |
Propriedades
| Nome | Description |
|---|---|
| Id |
Obtém o valor da ID associado ao token. |
| Offset |
Obtém o mapeamento de deslocamento para a cadeia de caracteres original. |
| Value |
Obtém o valor da cadeia de caracteres do token. |
Métodos
| Nome | Description |
|---|---|
| Equals(EncodedToken) |
Represente o token produzido a partir do processo de tokenização que contém a subcadeia de caracteres de token, a ID associada à subcadeia de caracteres do token e o mapeamento de deslocamento para a cadeia de caracteres original. |