Lingua

WordPieceTokenizer.Create Metodo

Definizione

Overload

Nome Descrizione
Create(Stream, WordPieceOptions)

Creare una nuova istanza della WordPieceTokenizer classe .

Create(String, WordPieceOptions)

Creare una nuova istanza della WordPieceTokenizer classe .

Create(Stream, WordPieceOptions)

Origine:
WordPieceTokenizer.cs
Origine:
WordPieceTokenizer.cs
Origine:
WordPieceTokenizer.cs

Creare una nuova istanza della WordPieceTokenizer classe .

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabStream As Stream, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

Parametri

vocabStream
Stream

Percorso del file vocab WordPiece.

options
WordPieceOptions

Opzioni da usare per il tokenizer WordPiece.

Valori restituiti

Nuova istanza della classe WordPieceTokenizer.

Commenti

Se è PreTokenizer Null, verrà usato il pre-tokenizzatore di spazi vuoti. Quando si crea il tokenizer, assicurarsi che il flusso del vocabolario venga originato da un provider attendibile.

Si applica a

Create(String, WordPieceOptions)

Origine:
WordPieceTokenizer.cs
Origine:
WordPieceTokenizer.cs
Origine:
WordPieceTokenizer.cs

Creare una nuova istanza della WordPieceTokenizer classe .

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : string * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabFilePath As String, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

Parametri

vocabFilePath
String

Percorso del file vocab WordPiece.

options
WordPieceOptions

Opzioni da usare per il tokenizer WordPiece.

Valori restituiti

Nuova istanza della classe WordPieceTokenizer.

Commenti

Se è PreTokenizer Null, verrà usato il pre-tokenizzatore di spazi vuoti. Quando si crea il tokenizer, assicurarsi che il file del vocabolario venga originato da un provider attendibile.

Si applica a