BertTokenizer Classe

Obtient une valeur indiquant si le tokenizer doit effectuer une tokenisation de base. Comme le texte propre, normalisez-le, réduisez-le, etc.

Obtient le jeton de classifieur qui est utilisé lors de la classification de séquence (classification de l’ensemble de la séquence au lieu de la classification par jeton). Il s’agit du premier jeton de la séquence lorsqu’elle est générée avec des jetons spéciaux.

Obtient l’ID de jeton de classifieur

Obtient le préfixe à utiliser pour les sous-mots qui ne sont pas la première partie d’un mot.

Obtient une valeur indiquant si le tokenizer doit fractionner les caractères CJK en jetons.

Obtient une valeur indiquant si le tokenizer doit minusculer le texte d’entrée.

Obtient le jeton de masque utilisé pour masquer les valeurs. Il s’agit du jeton utilisé lors de l’apprentissage de ce modèle avec la modélisation du langage masqué. Il s’agit du jeton que le modèle tentera de prédire.

Obtient l’ID du jeton de masque

Obtient le nombre maximal de caractères à autoriser dans un mot unique.

Obtient le normaliseur en cours d’utilisation par le tokenizer.

Obtient le jeton utilisé pour le remplissage, par exemple lors du traitement par lots de séquences de longueurs différentes

Obtient l’ID du jeton de remplissage

Obtient le PreTokenizer utilisé par le tokenizer.

Obtient une valeur indiquant s’il faut supprimer des marques d’interligne.

Obtient le jeton de séparation, qui est utilisé lors de la génération d’une séquence à partir de plusieurs séquences, par exemple deux séquences pour la classification de séquences ou pour un texte et une question pour répondre aux questions. Il est également utilisé comme dernier jeton d’une séquence créée avec des jetons spéciaux.

Obtient l’ID du jeton de séparation

Obtient les jetons spéciaux et leurs ID correspondants.

Obtient une valeur indiquant si le tokenizer doit être fractionné sur les jetons spéciaux ou traiter des jetons spéciaux comme du texte normal.

Obtient le jeton inconnu. Un jeton qui n’est pas dans le vocabulaire ne peut pas être converti en ID et est défini comme ce jeton à la place.

Obtient l’ID de jeton inconnu. Un jeton qui n’est pas dans le vocabulaire ne peut pas être converti en ID et est défini comme ce jeton à la place.

Générez des entrées de modèle à partir d’une séquence ou d’une paire de séquences pour les tâches de classification de séquence en concaténant et en ajoutant des jetons spéciaux. Une séquence BERT a le format suivant : - séquence unique : [CLS] tokenIds [SEP] - paire de séquences : [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Générez des entrées de modèle à partir d’une séquence ou d’une paire de séquences pour les tâches de classification de séquence en concaténant et en ajoutant des jetons spéciaux. Une séquence BERT a le format suivant : - séquence unique : [CLS] tokenIds [SEP] - paire de séquences : [CLS] tokenIds [SEP] additionalTokenIds [SEP]

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

Obtenez le nombre de jetons auxquels le texte d’entrée sera encodé.

Créez une instance de la classe BertTokenizer.

Créez une instance de la classe BertTokenizer.

Créez une instance de la BertTokenizer classe de façon asynchrone.

Créez une instance de la BertTokenizer classe de façon asynchrone.

Créez un masque à partir des deux séquences passées pour être utilisées dans une tâche de classification de paire de séquences. Un masque de paire de séquence BERT a le format suivant : 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 | première séquence | deuxième séquence | Si additionalTokenIds elle a la valeur Null, cette méthode retourne uniquement la première partie des ID de type (0s).

Tokenizer pour le modèle Bert.

Décodez les ID donnés, revenez à une chaîne.

Décodez les ID donnés en texte et stockez le résultat dans l’étendue destination .

Décodez les ID donnés en texte et stockez le résultat dans l’étendue destination .

Décodez les ID donnés, revenez à une chaîne.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée vers les ID de jeton.

Encode le texte d’entrée dans une liste de EncodedTokens.

Encode le texte d’entrée dans une liste de EncodedTokens.

Encode le texte d’entrée dans une liste de EncodedTokens.

Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons.

Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons.

Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons.

Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons.

Recherchez l’index de la capacité d’encodage maximale sans dépasser la limite de jetons.

Récupérer le masque des jetons de séquence à partir d’une liste d’ID.

Récupérer le masque des jetons de séquence à partir d’une liste d’ID.