EnglishRobertaTokenizer.Create メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
オーバーロード
| 名前 | 説明 |
|---|---|
| Create(Stream, Stream, Stream) |
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。 |
| Create(String, String, String) |
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。 |
| Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean) |
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。 |
| Create(String, String, String, PreTokenizer, Normalizer, Boolean) |
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。 |
Create(Stream, Stream, Stream)
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizerPublic Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizerパラメーター
- vocabularyStream
- Stream
文字列キーのディクショナリとその ID を含む JSON ファイルのストリーム。
- mergeStream
- Stream
トークンのペア リストを含むファイルのストリーム。
- highestOccurrenceMappingStream
- Stream
元の GPT-2 モデル ID を、出現頻度の高いランクと値に再マップします。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。
適用対象
Create(String, String, String)
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizerPublic Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizerパラメーター
- vocabularyPath
- String
文字列キーのディクショナリとその ID を含む JSON ファイル パス。
- mergePath
- String
トークンのペア リストを含むファイル パス。
- highestOccurrenceMappingPath
- String
元の GPT-2 モデル ID を、出現頻度の高いランクと値に再マップします。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。
適用対象
Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizerPublic Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizerパラメーター
- vocabularyStream
- Stream
文字列キーのディクショナリとその ID を含む JSON ファイルのストリーム。
- mergeStream
- Stream
トークンのペア リストを含むファイルのストリーム。
- highestOccurrenceMappingStream
- Stream
元の GPT-2 モデル ID を、出現頻度の高いランクと値に再マップします。
- preTokenizer
- PreTokenizer
使用する事前トークナイザー。
- normalizer
- Normalizer
使用するノーマライザー。
- filterUnsupportedChars
- Boolean
デコード中にサポートされていない文字をフィルター処理するかどうかを示します。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。
適用対象
Create(String, String, String, PreTokenizer, Normalizer, Boolean)
英語の Robert モデルで使用するトークナイザーのモデル オブジェクトを作成します。
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizerPublic Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizerパラメーター
- vocabularyPath
- String
文字列キーのディクショナリとその ID を含む JSON ファイル パス。
- mergePath
- String
トークンのペア リストを含むファイル パス。
- highestOccurrenceMappingPath
- String
元の GPT-2 モデル ID を、出現頻度の高いランクと値に再マップします。
- preTokenizer
- PreTokenizer
使用する事前トークナイザー。
- normalizer
- Normalizer
使用するノーマライザー。
- filterUnsupportedChars
- Boolean
デコード中にサポートされていない文字をフィルター処理するかどうかを示します。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ファイルが信頼できるプロバイダーから提供されていることを確認します。