Idioma

WordPieceTokenizer.CreateAsync Método

Definição

Sobrecargas

Nome Description
CreateAsync(Stream, WordPieceOptions, CancellationToken)

Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.

CreateAsync(String, WordPieceOptions, CancellationToken)

Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.

CreateAsync(Stream, WordPieceOptions, CancellationToken)

Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs

Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.

public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabStream As Stream, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)

Parâmetros

vocabStream
Stream

O caminho para o arquivo vocab do WordPiece.

options
WordPieceOptions

As opções a serem usadas para o tokenizador wordpiece.

cancellationToken
CancellationToken

O token de cancelamento.

Retornos

Uma nova instância da classe WordPieceTokenizer.

Comentários

Se for PreTokenizer nulo, o pré-tokenizador de espaço em branco será usado. Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a

CreateAsync(String, WordPieceOptions, CancellationToken)

Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs
Origem:
WordPieceTokenizer.cs

Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.

public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : string * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabFilePath As String, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)

Parâmetros

vocabFilePath
String

O caminho para o arquivo vocab do WordPiece.

options
WordPieceOptions

As opções a serem usadas para o tokenizador wordpiece.

cancellationToken
CancellationToken

O token de cancelamento.

Retornos

Uma nova instância da classe WordPieceTokenizer.

Comentários

Se for PreTokenizer nulo, o pré-tokenizador de espaço em branco será usado. Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.

Aplica-se a