RobertaPreTokenizer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
O pré-tokenizador para roberta tokenizer inglês.
public sealed class RobertaPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RobertaPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RobertaPreTokenizer
Inherits PreTokenizer- Herança
Construtores
| Nome | Description |
|---|---|
| RobertaPreTokenizer() |
O pré-tokenizador para roberta tokenizer inglês. |
Campos
| Nome | Description |
|---|---|
| Instance |
Obtém uma instância singleton do pré-tokenizador Roberta.. |
Propriedades
| Nome | Description |
|---|---|
| Instance |
Obtém uma instância singleton do pré-tokenizador Roberta.. |
Métodos
| Nome | Description |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |
| PreTokenize(String) |
Obter os deslocamentos e os comprimentos dos tokens relativos ao |