Language

SentencePieceTokenizer.Create メソッド

定義

SentencePieceTokenizer のインスタンスを作成します。 モデル ストリームには、次のドキュメントで指定されている SentencePiece モデルが含まれている必要があります: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto。

public static Microsoft.ML.Tokenizers.SentencePieceTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);
static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceTokenizer
Public Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As SentencePieceTokenizer

パラメーター

modelStream
Stream

SentencePiece Bpe または Unigram モデルを含むストリーム。

addBeginOfSentence
Boolean

エンコード中に文トークンの先頭を出力することを示します。

addEndOfSentence
Boolean

エンコード中に文の末尾トークンを出力することを示します。

specialTokens
IReadOnlyDictionary<String,Int32>

ボキャブラリに追加する追加のトークン。

返品

注釈

トークナイザーを作成するときは、ボキャブラリ ストリームが信頼できるプロバイダーから提供されていることを確認します。

適用対象