CodeGenTokenizer.Create(Stream, Stream, Boolean, Boolean, Boolean) Método

Definição

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacote:: Microsoft.ML.Tokenizers v1.0.1

Pacote:: Microsoft.ML.Tokenizers v0.22.0

Pacote:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origem:: CodeGenTokenizer.cs

Origem:: CodeGenTokenizer.cs

Origem:: CodeGenTokenizer.cs

Importante

Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.

Crie um tokenizer CodeGen com base nos fluxos de vocação e mesclagem fornecidos.

public static Microsoft.ML.Tokenizers.CodeGenTokenizer Create(System.IO.Stream vocabStream, System.IO.Stream mergesStream, bool addPrefixSpace = false, bool addBeginOfSentence = false, bool addEndOfSentence = false);

static member Create : System.IO.Stream * System.IO.Stream * bool * bool * bool -> Microsoft.ML.Tokenizers.CodeGenTokenizer

Public Shared Function Create (vocabStream As Stream, mergesStream As Stream, Optional addPrefixSpace As Boolean = false, Optional addBeginOfSentence As Boolean = false, Optional addEndOfSentence As Boolean = false) As CodeGenTokenizer

Parâmetros

vocabStream: Stream

O fluxo que contém o arquivo vocab.

mergesStream: Stream

O fluxo que contém o arquivo de mesclagem.

addPrefixSpace: Boolean

Indique se deseja adicionar um espaço antes do token.

addBeginOfSentence: Boolean

Indique a emissão do início do token de sentença durante a codificação.

addEndOfSentence: Boolean

Indique a emissão do token de fim de sentença durante a codificação.

Retornos

CodeGenTokenizer

O objeto tokenizer CodeGen.

Comentários

O tokenizador será criado de acordo com a configuração especificada em https://huggingface.co/Salesforce/codegen-350M-mono/raw/main/tokenizer.json. É importante fornecer arquivos de vocação e mesclagem semelhantes aos usados no treinamento do modelo. Os arquivos de vocação e mesclagem podem ser baixados dos seguintes links: https://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/vocab.json?download=truehttps://huggingface.co/Salesforce/codegen-350M-mono/resolve/main/merges.txt?download=true Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a