LlamaTokenizer.Create Método
Definición
Importante
Parte de la información hace referencia a la versión preliminar del producto, que puede haberse modificado sustancialmente antes de lanzar la versión definitiva. Microsoft no otorga ninguna garantía, explícita o implícita, con respecto a la información proporcionada aquí.
Cree a partir del flujo de modelo especificado un LlamaTokenizer que se basa en SentencePieceTokenizer. El flujo del modelo debe contener el modelo SentencePiece Bpe según la https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto especificación.
public static Microsoft.ML.Tokenizers.LlamaTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.LlamaTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As LlamaTokenizerParámetros
- modelStream
- Stream
Secuencia que contiene el modelo de SentencePiece Bpe.
- addBeginOfSentence
- Boolean
Indica la emisión del principio del token de oración durante la codificación.
- addEndOfSentence
- Boolean
Indica la emisión del final del token de oración durante la codificación.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Tokens adicionales que se van a agregar al vocabulario.
Devoluciones
Comentarios
Al crear el tokenizador, asegúrese de que el flujo de vocabulario se obtiene de un proveedor de confianza.