LlamaTokenizer.Create Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Erstellen Sie aus dem angegebenen Modellstream einen LlamaTokenizer, der auf SentencePieceTokenizer basiert. Der Modelldatenstrom sollte das SentencePiece Bpe-Modell entsprechend der https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto Spezifikation enthalten.
public static Microsoft.ML.Tokenizers.LlamaTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.LlamaTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As LlamaTokenizerParameter
- modelStream
- Stream
Der Datenstrom, der das SentencePiece Bpe-Modell enthält.
- addBeginOfSentence
- Boolean
Geben Sie den Anfang des Satztokens während der Codierung an.
- addEndOfSentence
- Boolean
Geben Sie während der Codierung das Ende des Satztokens an.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Die zusätzlichen Token, die dem Vokabular hinzugefügt werden sollen.
Gibt zurück
Hinweise
Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.