BpeTrainer Classe
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
O treinador do Bpe responsável por treinar o modelo bpe.
public sealed class BpeTrainer : Microsoft.ML.Tokenizers.Trainertype BpeTrainer = class
inherit TrainerPublic NotInheritable Class BpeTrainer
Inherits Trainer- Herança
Construtores
| Nome | Description |
|---|---|
| BpeTrainer() |
Construa um novo objeto BpeTrainer usando os valores padrão. |
| BpeTrainer(IEnumerable<AddedToken>, Int32, Int32, ReportProgress, Nullable<Int32>, HashSet<Char>, String, String) |
Construa um novo objeto BpeTrainer. |
Propriedades
| Nome | Description |
|---|---|
| ContinuingSubwordPrefix |
Obtém o prefixo a ser usado para cada sub-palavra que não é um início de palavra. |
| EndOfWordSuffix |
Obtém o sufixo a ser usado para cada sub-palavra que é um fim de palavra. |
| InitialAlphabet |
Obtém a lista de caracteres a serem incluídos no alfabeto inicial, mesmo que não sejam vistos no conjunto de dados de treinamento. Se as cadeias de caracteres contiverem mais de um caractere, somente o primeiro será mantido. |
| LimitAlphabet |
Obtém o máximo de caracteres diferentes para manter no alfabeto. |
| MinFrequency |
Obtém a frequência mínima que um par deve ter para ser mesclado. |
| Progress |
Defina quando for necessário relatar o progresso durante o treinamento. (Herdado de Trainer) |
| SpecialTokens |
Obtém a lista de tokens especiais que o modelo deve conhecer. |
| VocabSize |
Obtém o tamanho do vocabulário final, incluindo todos os tokens e alfabeto. |
Métodos
| Nome | Description |
|---|---|
| Feed(IEnumerable<String>, Func<String,IEnumerable<String>>) |
Processe as sequências de entrada e alimente o resultado para o modelo. |
| Train(Model) |
Execute o treinamento real e atualize o modelo de entrada com os novos vocabulários e mescla dados. |