Langue

EnglishRoberta Classe

Définition

Représente le modèle d’encodage de paire d’octets.

public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Model
type EnglishRoberta = class
    inherit Model
Public NotInheritable Class EnglishRoberta
Inherits Model
Héritage
EnglishRoberta

Constructeurs

Nom Description
EnglishRoberta(Stream, Stream, Stream)

Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.

EnglishRoberta(String, String, String)

Construisez l’objet tokenizer à utiliser avec le modèle Robert anglais.

Propriétés

Nom Description
PadIndex

Obtient l’index du symbole de remplissage à l’intérieur de la liste des symboles.

SymbolsCount

Obtient la longueur de la liste des symboles.

Méthodes

Nom Description
AddMaskSymbol(String)

Ajoutez le symbole de masque à la liste des symboles.

GetTrainer()

Obtient un objet d’entraîneur à utiliser pour entraîner le modèle et générer le vocabulaire et fusionner les données.

GetVocab()

Obtient les jetons de mappage de dictionnaire en ID.

GetVocabSize()

Obtient la taille du dictionnaire qui mappe les jetons aux ID.

IdsToOccurrenceRanks(IReadOnlyList<Int32>)

Convertissez une liste d’ID de jetons en classements d’occurrences les plus élevés.

IdsToOccurrenceValues(IReadOnlyList<Int32>)

Convertissez une liste d’ID de jetons en valeurs d’occurrence les plus élevées.

IdToToken(Int32, Boolean)

Mappez l’ID tokenized au jeton.

OccurrenceRanksIds(IReadOnlyList<Int32>)

Convertissez une liste de classements d’occurrences les plus élevés en liste d’ID de jetons.

Save(String, String)

Enregistrez les données du modèle dans le vocabulaire, les fusions et les fichiers de mappage d’occurrences.

Tokenize(String)

Jetons une chaîne de séquence à une liste de jetons.

TokenToId(String)

Mappez le jeton à l’ID tokenized.

S’applique à