Bpe Konstruktory

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v0.20.1

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Przeciążenia

Nazwa	Opis
Bpe()	Konstruowanie nowego obiektu modelu Bpe bez słownictwa tokenizacji. Ten konstruktor jest przydatny tylko w scenariuszu trenowania.
Bpe(String, String, String, String, String)	Skonstruuj nowy obiekt modelu Bpe do użycia na potrzeby tokenizacji zdań i trenowania tokenizatora.

Bpe()

Konstruowanie nowego obiektu modelu Bpe bez słownictwa tokenizacji. Ten konstruktor jest przydatny tylko w scenariuszu trenowania.

public Bpe();

Public Sub New ()

Dotyczy

Bpe(String, String, String, String, String)

Skonstruuj nowy obiekt modelu Bpe do użycia na potrzeby tokenizacji zdań i trenowania tokenizatora.

public Bpe(string vocabFile, string? mergesFile, string? unknownToken = default, string? continuingSubwordPrefix = default, string? endOfWordSuffix = default);

new Microsoft.ML.Tokenizers.Bpe : string * string * string * string * string -> Microsoft.ML.Tokenizers.Bpe

Public Sub New (vocabFile As String, mergesFile As String, Optional unknownToken As String = Nothing, Optional continuingSubwordPrefix As String = Nothing, Optional endOfWordSuffix As String = Nothing)

Parametry

vocabFile: String

Ścieżka pliku JSON zawierająca słownik kluczy ciągów i ich identyfikatory.

mergesFile: String

Ścieżka pliku zawierająca listę par tokenów.

unknownToken: String

Nieznany token, który ma być używany przez model.

continuingSubwordPrefix: String

Prefiks do dołączania do jednostek wyrazów podrzędnych, które nie reprezentują początku wyrazu.

endOfWordSuffix: String

Sufiks dołączany do jednostek wyrazów podrzędnych reprezentujących koniec wyrazu.

Dotyczy