LlamaTokenizer.Create Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Crie a partir do fluxo de modelo fornecido um LlamaTokenizer baseado em SentencePieceTokenizer. O fluxo de modelo deve conter o modelo SentencePiece Bpe de acordo com a https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto especificação.
public static Microsoft.ML.Tokenizers.LlamaTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.LlamaTokenizerPublic Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As LlamaTokenizerParâmetros
- modelStream
- Stream
O fluxo que contém o modelo SentencePiece Bpe.
- addBeginOfSentence
- Boolean
Indique a emissão do início do token de sentença durante a codificação.
- addEndOfSentence
- Boolean
Indique a emissão do token de fim de sentença durante a codificação.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Os tokens adicionais a serem adicionados ao vocabulário.
Retornos
Comentários
Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.