Idioma

SentencePieceTokenizer.Create Método

Definição

Cria uma instância de SentencePieceTokenizer. O fluxo de modelo deve conter um modelo SentencePiece, conforme especificado na seguinte documentação: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto.

public static Microsoft.ML.Tokenizers.SentencePieceTokenizer Create(System.IO.Stream modelStream, bool addBeginOfSentence = true, bool addEndOfSentence = false, System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);
static member Create : System.IO.Stream * bool * bool * System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.SentencePieceTokenizer
Public Shared Function Create (modelStream As Stream, Optional addBeginOfSentence As Boolean = true, Optional addEndOfSentence As Boolean = false, Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As SentencePieceTokenizer

Parâmetros

modelStream
Stream

O fluxo que contém o modelo SentencePiece Bpe ou Unigram.

addBeginOfSentence
Boolean

Indique a emissão do início do token de sentença durante a codificação.

addEndOfSentence
Boolean

Indique a emissão do token de fim de sentença durante a codificação.

specialTokens
IReadOnlyDictionary<String,Int32>

Os tokens adicionais a serem adicionados ao vocabulário.

Retornos

Comentários

Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a