SentencePieceTokenizer.Create Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Cria uma instância de SentencePieceTokenizer. O fluxo de modelo deve conter um modelo SentencePiece, conforme especificado na seguinte documentação: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto.
public static Microsoft.ML.Tokenizers.SentencePieceTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);
static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceTokenizer
Public Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As SentencePieceTokenizer
Parâmetros
- modelStream
- Stream
O fluxo que contém o modelo SentencePiece Bpe ou Unigram.
- addBeginOfSentence
- Boolean
Indique a emissão do início do token de sentença durante a codificação.
- addEndOfSentence
- Boolean
Indique a emissão do token de fim de sentença durante a codificação.
- specialTokens
- IReadOnlyDictionary<String,Int32>
Os tokens adicionais a serem adicionados ao vocabulário.
Retornos
Comentários
Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.