RobertaPreTokenizer Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Pre-tokenizer dla tokenizatora Roberta English.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Dziedziczenie
Konstruktory
| Nazwa | Opis |
|---|---|
| RobertaPreTokenizer() |
Pre-tokenizer dla tokenizatora Roberta English. |
Pola
| Nazwa | Opis |
|---|---|
| Instance |
Pobiera pojedyncze wystąpienie pre-tokenizer Roberta. |
Właściwości
| Nazwa | Opis |
|---|---|
| Instance |
Pobiera pojedyncze wystąpienie pre-tokenizer Roberta. |
Metody
| Nazwa | Opis |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Pobierz przesunięcia i długości tokenów względem |
| PreTokenize(String) |
Pobierz przesunięcia i długości tokenów względem |