Język

WordPieceTokenizer.Create Metoda

Definicja

Przeciążenia

Nazwa Opis
Create(Stream, WordPieceOptions)

Utwórz nowe wystąpienie klasy WordPieceTokenizer.

Create(String, WordPieceOptions)

Utwórz nowe wystąpienie klasy WordPieceTokenizer.

Create(Stream, WordPieceOptions)

Źródło:
WordPieceTokenizer.cs
Źródło:
WordPieceTokenizer.cs
Źródło:
WordPieceTokenizer.cs

Utwórz nowe wystąpienie klasy WordPieceTokenizer.

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabStream As Stream, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

Parametry

vocabStream
Stream

Ścieżka do pliku vocab programu WordPiece.

options
WordPieceOptions

Opcje do użycia dla tokenizatora programu WordPiece.

Zwraca

Nowe wystąpienie WordPieceTokenizer klasy.

Uwagi

Jeśli parametr PreTokenizer ma wartość null, zostanie użyty pre-tokenizer odstępu. Podczas tworzenia tokenizatora upewnij się, że strumień słownictwa jest pozyskiwany od zaufanego dostawcy.

Dotyczy

Create(String, WordPieceOptions)

Źródło:
WordPieceTokenizer.cs
Źródło:
WordPieceTokenizer.cs
Źródło:
WordPieceTokenizer.cs

Utwórz nowe wystąpienie klasy WordPieceTokenizer.

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : string * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabFilePath As String, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

Parametry

vocabFilePath
String

Ścieżka do pliku vocab programu WordPiece.

options
WordPieceOptions

Opcje do użycia dla tokenizatora programu WordPiece.

Zwraca

Nowe wystąpienie WordPieceTokenizer klasy.

Uwagi

Jeśli parametr PreTokenizer ma wartość null, zostanie użyty pre-tokenizer odstępu. Podczas tworzenia tokenizatora upewnij się, że plik słownictwa pochodzi od zaufanego dostawcy.

Dotyczy