LlamaTokenizer.Create Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Creare dal flusso del modello specificato un LlamaTokenizer basato su SentencePieceTokenizer. Il flusso del modello deve contenere il modello SentencePiece Bpe in base alla https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto specifica.
public static Microsoft.ML.Tokenizers.LlamaTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.LlamaTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As LlamaTokenizerParametri
- modelStream
- Stream
Flusso contenente il modello SentencePiece Bpe.
- addBeginOfSentence
- Boolean
Indicare l'emissione dell'inizio del token di frase durante la codifica.
- addEndOfSentence
- Boolean
Indicare l'emissione del token di fine frase durante la codifica.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Token aggiuntivi da aggiungere al vocabolario.
Valori restituiti
Commenti
Quando si crea il tokenizer, assicurarsi che il flusso del vocabolario venga originato da un provider attendibile.