Idioma

WordPieceTokenizer.Create Método

Definição

Sobrecargas

Nome Description
Create(Stream, WordPieceOptions)

Crie uma nova instância da WordPieceTokenizer classe .

Create(String, WordPieceOptions)

Crie uma nova instância da WordPieceTokenizer classe .

Create(Stream, WordPieceOptions)

Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs

Crie uma nova instância da WordPieceTokenizer classe .

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabStream As Stream, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

Parâmetros

vocabStream
Stream

O caminho para o arquivo vocab do WordPiece.

options
WordPieceOptions

As opções a serem usadas para o tokenizador wordpiece.

Retornos

Uma nova instância da classe WordPieceTokenizer.

Comentários

Se for PreTokenizer nulo, o pré-tokenizador de espaço em branco será usado. Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a

Create(String, WordPieceOptions)

Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs

Crie uma nova instância da WordPieceTokenizer classe .

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : string * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabFilePath As String, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

Parâmetros

vocabFilePath
String

O caminho para o arquivo vocab do WordPiece.

options
WordPieceOptions

As opções a serem usadas para o tokenizador wordpiece.

Retornos

Uma nova instância da classe WordPieceTokenizer.

Comentários

Se for PreTokenizer nulo, o pré-tokenizador de espaço em branco será usado. Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.

Aplica-se a