Language

WordPieceTokenizer.Create メソッド

定義

オーバーロード

名前 説明
Create(Stream, WordPieceOptions)

WordPieceTokenizer クラスの新しいインスタンスを作成します。

Create(String, WordPieceOptions)

WordPieceTokenizer クラスの新しいインスタンスを作成します。

Create(Stream, WordPieceOptions)

ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs

WordPieceTokenizer クラスの新しいインスタンスを作成します。

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(System.IO.Stream vocabStream, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : System.IO.Stream * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabStream As Stream, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

パラメーター

vocabStream
Stream

WordPiece ボキャブ ファイルへのパス。

options
WordPieceOptions

WordPiece トークナイザーに使用するオプション。

返品

WordPieceTokenizer クラスの新しいインスタンス。

注釈

PreTokenizerが null の場合は、空白の事前トークナイザーが使用されます。 トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。

適用対象

Create(String, WordPieceOptions)

ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs
ソース:
WordPieceTokenizer.cs

WordPieceTokenizer クラスの新しいインスタンスを作成します。

public static Microsoft.ML.Tokenizers.WordPieceTokenizer Create(string vocabFilePath, Microsoft.ML.Tokenizers.WordPieceOptions? options = default);
static member Create : string * Microsoft.ML.Tokenizers.WordPieceOptions -> Microsoft.ML.Tokenizers.WordPieceTokenizer
Public Shared Function Create (vocabFilePath As String, Optional options As WordPieceOptions = Nothing) As WordPieceTokenizer

パラメーター

vocabFilePath
String

WordPiece ボキャブ ファイルへのパス。

options
WordPieceOptions

WordPiece トークナイザーに使用するオプション。

返品

WordPieceTokenizer クラスの新しいインスタンス。

注釈

PreTokenizerが null の場合は、空白の事前トークナイザーが使用されます。 トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。

適用対象