LlamaTokenizer.Create メソッド
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
指定されたモデル ストリームから、SentencePieceTokenizer に基づく LlamaTokenizer を作成します。 モデル ストリームには、仕様に従って SentencePiece Bpe モデル https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto 含める必要があります。
public static Microsoft.ML.Tokenizers.LlamaTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.LlamaTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As LlamaTokenizerパラメーター
- modelStream
- Stream
SentencePiece Bpe モデルを含むストリーム。
- addBeginOfSentence
- Boolean
エンコード中に文トークンの先頭を出力することを示します。
- addEndOfSentence
- Boolean
エンコード中に文の末尾トークンを出力することを示します。
- specialTokens
- IReadOnlyDictionary<String,Int32>
ボキャブラリに追加する追加のトークン。
返品
注釈
トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。