Language

WordPieceTokenizer.CreateAsync メソッド

定義

オーバーロード

名前 説明
CreateAsync(Stream, WordPieceOptions, CancellationToken)

WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。

CreateAsync(String, WordPieceOptions, CancellationToken)

WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。

CreateAsync(Stream, WordPieceOptions, CancellationToken)

ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs

WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。

public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabStream As Stream, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)

パラメーター

vocabStream
Stream

WordPiece ボキャブ ファイルへのパス。

options
WordPieceOptions

WordPiece トークナイザーに使用するオプション。

cancellationToken
CancellationToken

キャンセル トークン。

返品

WordPieceTokenizer クラスの新しいインスタンス。

注釈

PreTokenizerが null の場合は、空白の事前トークナイザーが使用されます。 トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。

適用対象

CreateAsync(String, WordPieceOptions, CancellationToken)

ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs

WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。

public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : string * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabFilePath As String, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)

パラメーター

vocabFilePath
String

WordPiece ボキャブ ファイルへのパス。

options
WordPieceOptions

WordPiece トークナイザーに使用するオプション。

cancellationToken
CancellationToken

キャンセル トークン。

返品

WordPieceTokenizer クラスの新しいインスタンス。

注釈

PreTokenizerが null の場合は、空白の事前トークナイザーが使用されます。 トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。

適用対象