Phi2Tokenizer.Create(Stream, Stream, Boolean, Boolean, Boolean) 方法

定義

命名空間:: Microsoft.ML.Tokenizers

組件:: Microsoft.ML.Tokenizers.dll

套件:: Microsoft.ML.Tokenizers v1.0.1

套件:: Microsoft.ML.Tokenizers v0.22.0

套件:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

來源:: Phi2Tokenizer.cs

來源:: Phi2Tokenizer.cs

來源:: Phi2Tokenizer.cs

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

從給定的詞彙建立一個 CodeGen Phi2 分詞器，然後合併串流。

public static Microsoft.ML.Tokenizers.Phi2Tokenizer Create(System.IO.Stream vocabStream, System.IO.Stream mergesStream, bool addPrefixSpace = false, bool addBeginOfSentence = false, bool addEndOfSentence = false);

static member Create : System.IO.Stream * System.IO.Stream * bool * bool * bool -> Microsoft.ML.Tokenizers.Phi2Tokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional addPrefixSpace As Boolean = false, Optional addBeginOfSentence As Boolean = false, Optional addEndOfSentence As Boolean = false) As Phi2Tokenizer

參數

vocabStream: Stream

包含單字檔的串流。

mergesStream: Stream

包含合併檔案的串流。

addPrefixSpace: Boolean

請指示是否在標記前加空格。

addBeginOfSentence: Boolean

表示在編碼過程中發出句子符號的開頭。

addEndOfSentence: Boolean

表示在編碼過程中發出句尾標記。

傳回

Phi2Tokenizer

CodeGen 分詞器物件。

備註

分詞器將依據以下設定建立 https://huggingface.co/microsoft/phi-2/raw/main/tokenizer.json. 提供與模型訓練時使用的詞彙及合併檔案相似非常重要。詞彙與合併檔案可從以下連結下載： https://huggingface.co/microsoft/phi-2/resolve/main/vocab.json?download=truehttps://huggingface.co/microsoft/phi-2/resolve/main/merges.txt?download=true 建立分詞器時，請確保詞彙串流來源為可信提供者。

適用於