BertOptions Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Options pour le tokenizer Bert.
public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptionstype BertOptions = class
inherit WordPieceOptionsPublic NotInheritable Class BertOptions
Inherits WordPieceOptions- Héritage
Constructeurs
| Nom | Description |
|---|---|
| BertOptions() |
Options pour le tokenizer Bert. |
Propriétés
| Nom | Description |
|---|---|
| ApplyBasicTokenization |
Obtient ou définit une valeur indiquant s’il faut appliquer la tokenisation de base. |
| ClassificationToken |
Obtient ou définit le jeton de classification à utiliser. |
| ContinuingSubwordPrefix |
Obtient ou définit le préfixe à utiliser pour les sous-mots qui ne sont pas la première partie d’un mot. (Hérité de WordPieceOptions) |
| IndividuallyTokenizeCjk |
Obtient ou définit une valeur indiquant s’il faut tokeniser les caractères CJK dans des jetons distincts. |
| LowerCaseBeforeTokenization |
Obtient ou définit une valeur indiquant s’il faut minusculer l’entrée avant la tokenisation. |
| MaskingToken |
Obtient ou définit le jeton de masquage à utiliser. |
| MaxInputCharsPerWord |
Obtient ou définit le nombre maximal de caractères à prendre en compte pour un mot unique. (Hérité de WordPieceOptions) |
| Normalizer |
Obtient ou définit la Normalizer valeur à remplacer le normaliseur par défaut, si vous le souhaitez. (Hérité de WordPieceOptions) |
| PaddingToken |
Obtient ou définit le jeton de remplissage à utiliser. |
| PreTokenizer |
Obtient ou définit la PreTokenizer valeur à remplacer le normaliseur par défaut, si vous le souhaitez. (Hérité de WordPieceOptions) |
| RemoveNonSpacingMarks |
Obtient ou définit une valeur indiquant s’il faut supprimer des marques d’interligne. |
| SeparatorToken |
Obtient ou définit le jeton de séparateur à utiliser. |
| SpecialTokens |
Obtient ou définit les jetons spéciaux à utiliser. (Hérité de WordPieceOptions) |
| SplitOnSpecialTokens |
Obtient ou définit une valeur indiquant s’il faut fractionner sur des jetons spéciaux. |
| UnknownToken |
Obtient ou définit le jeton inconnu à utiliser. (Hérité de WordPieceOptions) |