EnglishRoberta Clase
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Representa el modelo de codificación de pares de bytes.
public sealed class EnglishRoberta : Microsoft.ML.Tokenizers.Modeltype EnglishRoberta = class
inherit ModelPublic NotInheritable Class EnglishRoberta
Inherits Model- Herencia
Constructores
| Nombre | Description |
|---|---|
| EnglishRoberta(Stream, Stream, Stream) |
Construya el objeto tokenizer para usarlo con el modelo robert inglés. |
| EnglishRoberta(String, String, String) |
Construya el objeto tokenizer para usarlo con el modelo robert inglés. |
Propiedades
| Nombre | Description |
|---|---|
| PadIndex |
Obtiene el índice del símbolo del panel dentro de la lista de símbolos. |
| SymbolsCount |
Obtiene la longitud de la lista de símbolos. |
Métodos
| Nombre | Description |
|---|---|
| AddMaskSymbol(String) |
Agregue el símbolo de máscara a la lista de símbolos. |
| GetTrainer() |
Obtiene un objeto trainer que se va a usar en el entrenamiento del modelo y genera los datos de vocabulario y mezcla. |
| GetVocab() |
Obtiene los tokens de asignación de diccionario a identificadores. |
| GetVocabSize() |
Obtiene el tamaño del diccionario que asigna tokens a Ids. |
| IdsToOccurrenceRanks(IReadOnlyList<Int32>) |
Convierta una lista de identificadores de tokens en clasificaciones de repetición más altas. |
| IdsToOccurrenceValues(IReadOnlyList<Int32>) |
Convierta una lista de identificadores de tokens en valores de repetición más altos. |
| IdToToken(Int32, Boolean) |
Asigne el identificador con token al token. |
| OccurrenceRanksIds(IReadOnlyList<Int32>) |
Convierta una lista de clasificaciones de repeticiones más altas en la lista de identificadores de tokens . |
| Save(String, String) |
Guarde los datos del modelo en los archivos de asignación de vocabulario, combinaciones y repeticiones. |
| Tokenize(String) |
Tokenice una cadena de secuencia en una lista de tokens. |
| TokenToId(String) |
Asigne el token al identificador con tokenizado. |