SentencePieceTokenizer.Create Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Erstellt eine Instanz von SentencePieceTokenizer. Der Modelldatenstrom sollte ein SentencePiece-Modell enthalten, wie in der folgenden Dokumentation angegeben: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto
public static Microsoft.ML.Tokenizers.SentencePieceTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As SentencePieceTokenizerParameter
- modelStream
- Stream
Der Datenstrom, der das SentencePiece Bpe- oder Unigram-Modell enthält.
- addBeginOfSentence
- Boolean
Geben Sie den Anfang des Satztokens während der Codierung an.
- addEndOfSentence
- Boolean
Geben Sie während der Codierung das Ende des Satztokens an.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Die zusätzlichen Token, die dem Vokabular hinzugefügt werden sollen.
Gibt zurück
Hinweise
Stellen Sie beim Erstellen des Tokenizers sicher, dass der Vokabulardatenstrom von einem vertrauenswürdigen Anbieter stammt.