SentencePieceTokenizer.Create メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
SentencePieceTokenizer のインスタンスを作成します。 モデル ストリームには、次のドキュメントで指定されている SentencePiece モデルが含まれている必要があります: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto。
public static Microsoft.ML.Tokenizers.SentencePieceTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);
static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceTokenizer
Public Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As SentencePieceTokenizer
パラメーター
- modelStream
- Stream
SentencePiece Bpe または Unigram モデルを含むストリーム。
- addBeginOfSentence
- Boolean
エンコード中に文トークンの先頭を出力することを示します。
- addEndOfSentence
- Boolean
エンコード中に文の末尾トークンを出力することを示します。
- specialTokens
- IReadOnlyDictionary<String,Int32>
ボキャブラリに追加する追加のトークン。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。