AddedToken Estrutura
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Represente um token adicionado pelo usuário sobre o vocabulário do Modelo existente. AddedToken pode ser configurado para especificar o comportamento que eles devem ter em várias situações, como:
- Se elas devem corresponder apenas a palavras simples
- Se deseja incluir qualquer WhiteSpace à esquerda ou à direita
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>type AddedToken = structPublic Structure AddedToken
Implements IEquatable(Of AddedToken)- Herança
-
AddedToken
- Implementações
Construtores
| Nome | Description |
|---|---|
| AddedToken() |
Crie um novo objeto AddedToken. |
| AddedToken(String, Boolean) |
Crie um novo objeto AddedToken com base no conteúdo fornecido, especificando se ele se destina a ser um token especial. Tokens especiais não são normalizados por padrão. |
Propriedades
| Nome | Description |
|---|---|
| Content |
Obtém ou define o conteúdo do token adicionado |
Métodos
| Nome | Description |
|---|---|
| Equals(AddedToken) |
Determina se duas instâncias de token são iguais. |
| GetHashCode() |
Retorna o código hash do token atual. |
Operadores
| Nome | Description |
|---|---|
| Implicit(String to AddedToken) |
Define uma conversão implícita de um objeto de cadeia de caracteres para AddedToken. |