EnglishRoberta Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Represent the Byte Pair Encoding model.
public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Modeltype EnglishRoberta = class
inherit ModelPublic NotInheritable Class EnglishRoberta
Inherits Model- Vererbung
Konstruktoren
| Name | Beschreibung |
|---|---|
| EnglishRoberta(Stream, Stream, Stream) |
Erstellen Sie tokenizer-Objekt, das mit dem englischen Robert-Modell verwendet werden soll. |
| EnglishRoberta(String, String, String) |
Erstellen Sie tokenizer-Objekt, das mit dem englischen Robert-Modell verwendet werden soll. |
Eigenschaften
| Name | Beschreibung |
|---|---|
| PadIndex |
Ruft den Index des Pad-Symbols in der Symbolliste ab. |
| SymbolsCount |
Ruft die Länge der Symbolliste ab. |
Methoden
| Name | Beschreibung |
|---|---|
| AddMaskSymbol(String) |
Fügen Sie der Symbolliste das Maskensymbol hinzu. |
| GetTrainer() |
Ruft ein Trainerobjekt ab, das beim Trainieren des Modells verwendet werden soll, und generiert das Vokabular und führt Daten zusammen. |
| GetVocab() |
Ruft die Wörterbuchzuordnungstoken zu IDs ab. |
| GetVocabSize() |
Ruft die Wörterbuchgröße ab, die Token ids zuzuordnen. |
| IdsToOccurrenceRanks(IReadOnlyList<Int32>) |
Konvertieren Sie eine Liste von Token-IDs in höchste Vorkommen-Rangfolgen. |
| IdsToOccurrenceValues(IReadOnlyList<Int32>) |
Konvertieren Sie eine Liste von Token-IDs in höchste Vorkommenswerte. |
| IdToToken(Int32, Boolean) |
Ordnen Sie die tokenisierte ID dem Token zu. |
| OccurrenceRanksIds(IReadOnlyList<Int32>) |
Konvertieren Sie eine Liste der höchsten Vorkommen-Rankings in die Token-IDs-Liste. |
| Save(String, String) |
Speichern Sie die Modelldaten im Vokabular, zusammenführen und vorkommende Zuordnungsdateien. |
| Tokenize(String) |
Tokenisieren Sie eine Sequenzzeichenfolge in einer Liste von Token. |
| TokenToId(String) |
Ordnen Sie das Token der tokenisierten ID zu. |