LlamaTokenizer.Create 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
從給定模型建立一個基於 SentencePieceTokenizer 的 LlamamaTokenizer 串流。 模型串流應依規範包含 SentencePiece Bpe 模型 https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto 。
public static Microsoft.ML.Tokenizers.LlamaTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.LlamaTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As LlamaTokenizer參數
- modelStream
- Stream
包含 SentencePiece Bpe 模型的串流。
- addBeginOfSentence
- Boolean
表示在編碼過程中發出句子符號的開頭。
- addEndOfSentence
- Boolean
表示在編碼過程中發出句尾標記。
- specialTokens
- IReadOnlyDictionary<String,Int32>
新增詞彙的代幣。
傳回
備註
建立分詞器時，請確保詞彙串流來源為可信賴的提供者。