WordPieceTokenizer.CreateAsync メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| CreateAsync(Stream, WordPieceOptions, CancellationToken) |
WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。 |
| CreateAsync(String, WordPieceOptions, CancellationToken) |
WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。 |
CreateAsync(Stream, WordPieceOptions, CancellationToken)
WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabStream As Stream, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)
パラメーター
- vocabStream
- Stream
WordPiece ボキャブ ファイルへのパス。
- options
- WordPieceOptions
WordPiece トークナイザーに使用するオプション。
- cancellationToken
- CancellationToken
キャンセル トークン。
返品
WordPieceTokenizer クラスの新しいインスタンス。
注釈
PreTokenizerが null の場合は、空白の事前トークナイザーが使用されます。 トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。
適用対象
CreateAsync(String, WordPieceOptions, CancellationToken)
WordPieceTokenizer クラスの新しいインスタンスを非同期で作成します。
public static System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer> CreateAsync(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default, System.Threading.CancellationToken cancellationToken = default);
static member CreateAsync : string * Microsoft.ML.Tokenizers.WordPieceOptions * System.Threading.CancellationToken -> System.Threading.Tasks.Task<Microsoft.ML.Tokenizers.WordPieceTokenizer>
Public Shared Function CreateAsync (vocabFilePath As String, Optional options As WordPieceOptions = Nothing, Optional cancellationToken As CancellationToken = Nothing) As Task(Of WordPieceTokenizer)
パラメーター
- vocabFilePath
- String
WordPiece ボキャブ ファイルへのパス。
- options
- WordPieceOptions
WordPiece トークナイザーに使用するオプション。
- cancellationToken
- CancellationToken
キャンセル トークン。
返品
WordPieceTokenizer クラスの新しいインスタンス。
注釈
PreTokenizerが null の場合は、空白の事前トークナイザーが使用されます。 トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。