Bpe Costruttori
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Overload
| Nome | Descrizione |
|---|---|
| Bpe() |
Costruire un nuovo oggetto modello Bpe senza vocabolario di tokenizzazione. Questo costruttore è utile solo nello scenario di training. |
| Bpe(String, String, String, String, String) |
Costruire un nuovo oggetto modello Bpe da usare per il training di tokenizzazione delle frasi e tokenizer. |
Bpe()
Costruire un nuovo oggetto modello Bpe senza vocabolario di tokenizzazione. Questo costruttore è utile solo nello scenario di training.
public Bpe();Public Sub New ()Si applica a
Bpe(String, String, String, String, String)
Costruire un nuovo oggetto modello Bpe da usare per il training di tokenizzazione delle frasi e tokenizer.
public Bpe(string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.BpePublic Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)Parametri
- vocabFile
- String
Percorso del file JSON contenente il dizionario delle chiavi stringa e i relativi ID.
- mergesFile
- String
Percorso del file contenente l'elenco di coppie di token.
- unknownToken
- String
Token sconosciuto da usare dal modello.
- continuingSubwordPrefix
- String
Prefisso da associare alle unità di sottochiave che non rappresentano un inizio di parola.
- endOfWordSuffix
- String
Suffisso da associare alle unità di sottochiave che rappresentano una fine di parola.