Idioma

EnglishRobertaTokenizer.Create Método

Definição

Sobrecargas

Nome Description
Create(Stream, Stream, Stream)

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

Create(String, String, String)

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

Create(String, String, String, PreTokenizer, Normalizer, Boolean)

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

Create(Stream, Stream, Stream)

Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);
static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizer

Parâmetros

vocabularyStream
Stream

O fluxo de um arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.

mergeStream
Stream

O fluxo de um arquivo que contém a lista de pares dos tokens.

highestOccurrenceMappingStream
Stream

Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.

Retornos

Comentários

Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a

Create(String, String, String)

Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);
static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizer

Parâmetros

vocabularyPath
String

O caminho do arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.

mergePath
String

O caminho do arquivo que contém a lista de pares dos tokens.

highestOccurrenceMappingPath
String

Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.

Retornos

Comentários

Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.

Aplica-se a

Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)

Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);
static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parâmetros

vocabularyStream
Stream

O fluxo de um arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.

mergeStream
Stream

O fluxo de um arquivo que contém a lista de pares dos tokens.

highestOccurrenceMappingStream
Stream

Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.

preTokenizer
PreTokenizer

O pré-tokenizador a ser usado.

normalizer
Normalizer

O normalizador a ser usado.

filterUnsupportedChars
Boolean

Indique se deseja filtrar os caracteres sem suporte durante a decodificação.

Retornos

Comentários

Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.

Aplica-se a

Create(String, String, String, PreTokenizer, Normalizer, Boolean)

Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs
Origem:
EnglishRobertaTokenizer.cs

Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.

public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);
static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer

Parâmetros

vocabularyPath
String

O caminho do arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.

mergePath
String

O caminho do arquivo que contém a lista de pares dos tokens.

highestOccurrenceMappingPath
String

Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.

preTokenizer
PreTokenizer

O pré-tokenizador a ser usado.

normalizer
Normalizer

O normalizador a ser usado.

filterUnsupportedChars
Boolean

Indique se deseja filtrar os caracteres sem suporte durante a decodificação.

Retornos

Comentários

Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.

Aplica-se a