Langue

AddedToken Structure

Définition

Représentez un jeton ajouté par l’utilisateur au-dessus du vocabulaire model existant. AddedToken peut être configuré pour spécifier le comportement qu’ils doivent avoir dans différentes situations telles que :

  • S’ils ne doivent correspondre qu’à des mots uniques
  • Indique s’il faut inclure un Espace blanc sur sa gauche ou sa droite
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>
type AddedToken = struct
Public Structure AddedToken
Implements IEquatable(Of AddedToken)
Héritage
AddedToken
Implémente

Constructeurs

Nom Description
AddedToken()

Créez un objet AddedToken.

AddedToken(String, Boolean)

Créez un objet AddedToken à partir du contenu donné, en spécifiant s’il est destiné à être un jeton spécial. Les jetons spéciaux ne sont pas normalisés par défaut.

Propriétés

Nom Description
Content

Obtient ou définit le contenu du jeton ajouté

Méthodes

Nom Description
Equals(AddedToken)

Détermine si deux instances de jeton sont égales.

GetHashCode()

Retourne le code de hachage du jeton actuel.

Opérateurs

Nom Description
Implicit(String to AddedToken)

Définit une conversion implicite d’un objet de chaîne en AddedToken.

S’applique à