WordPieceTokenizer.CreateAsync Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| CreateAsync(Stream, WordPieceOptions, CancellationToken) |
Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona. |
| CreateAsync(String, WordPieceOptions, CancellationToken) |
Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona. |
CreateAsync(Stream, WordPieceOptions, CancellationToken)
- Origem:
- WordPieceTokenizer.cs
- Origem:
- WordPieceTokenizer.cs
- Origem:
- WordPieceTokenizer.cs
Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabStream As Stream, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)
Parâmetros
- vocabStream
- Stream
O caminho para o arquivo vocab do WordPiece.
- options
- WordPieceOptions
As opções a serem usadas para o tokenizador wordpiece.
- cancellationToken
- CancellationToken
O token de cancelamento.
Retornos
Uma nova instância da classe WordPieceTokenizer.
Comentários
Se for PreTokenizer nulo, o pré-tokenizador de espaço em branco será usado. Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.
Aplica-se a
CreateAsync(String, WordPieceOptions, CancellationToken)
- Origem:
- WordPieceTokenizer.cs
- Origem:
- WordPieceTokenizer.cs
- Origem:
- WordPieceTokenizer.cs
Crie uma nova instância da WordPieceTokenizer classe de forma assíncrona.
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : string * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabFilePath As String, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)
Parâmetros
- vocabFilePath
- String
O caminho para o arquivo vocab do WordPiece.
- options
- WordPieceOptions
As opções a serem usadas para o tokenizador wordpiece.
- cancellationToken
- CancellationToken
O token de cancelamento.
Retornos
Uma nova instância da classe WordPieceTokenizer.
Comentários
Se for PreTokenizer nulo, o pré-tokenizador de espaço em branco será usado. Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.