Bpe Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Represente o modelo de codificação de par de bytes.
public sealed class Bpe : Microsoft.ML.Tokenizers.Modeltype Bpe = class
inherit ModelPublic NotInheritable Class Bpe
Inherits Model- Herança
Construtores
| Nome | Description |
|---|---|
| Bpe() |
Construa um novo objeto de modelo bpe sem vocabulário de tokenização. Esse construtor é útil apenas no cenário de treinamento. |
| Bpe(String, String, String, String, String) |
Construa um novo objeto de modelo bpe a ser usado para treinamento de token de sentença e tokenizador. |
Propriedades
| Nome | Description |
|---|---|
| ContinuingSubwordPrefix |
Um prefixo a ser usado para cada sub palavra que não é um início de palavra |
| Decoder |
Obtém o objeto decodificador bpe. |
| EndOfWordSuffix |
Um sufixo opcional para caracterizar e sub-palavra de fim de palavra |
| FuseUnknownTokens |
Obtém ou define se a permissão de vários tokens desconhecidos é fundida |
| UnknownToken |
Obtém ou define um token desconhecido. O token desconhecido a ser usado quando encontrarmos um char desconhecido |
Métodos
| Nome | Description |
|---|---|
| GetTrainer() |
Obtém um objeto de treinador a ser usado no treinamento do modelo e gera o vocabulário e mescla dados. |
| GetVocab() |
Obtém os tokens de mapeamento de dicionário para Ids. |
| GetVocabSize() |
Obtém o tamanho do dicionário que mapeia tokens para Ids. |
| IdToToken(Int32, Boolean) |
Mapeie a ID tokenizada para o token. |
| Save(String, String) |
Salve os dados do modelo no vocabulário e mescla arquivos. |
| Tokenize(String) |
Tokenize uma cadeia de caracteres de sequência para uma lista de tokens. |
| TokenToId(String) |
Mapeie o token para a ID tokenizada. |