EnglishRobertaTokenizer.Create Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Sobrecargas
| Nome | Description |
|---|---|
| Create(Stream, Stream, Stream) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Create(String, String, String) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
| Create(String, String, String, PreTokenizer, Normalizer, Boolean) |
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês. |
Create(Stream, Stream, Stream)
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream);
static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream) As EnglishRobertaTokenizer
Parâmetros
- vocabularyStream
- Stream
O fluxo de um arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.
- mergeStream
- Stream
O fluxo de um arquivo que contém a lista de pares dos tokens.
- highestOccurrenceMappingStream
- Stream
Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.
Retornos
Comentários
Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.
Aplica-se a
Create(String, String, String)
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath);
static member Create : string * string * string -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String) As EnglishRobertaTokenizer
Parâmetros
- vocabularyPath
- String
O caminho do arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.
- mergePath
- String
O caminho do arquivo que contém a lista de pares dos tokens.
- highestOccurrenceMappingPath
- String
Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.
Retornos
Comentários
Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.
Aplica-se a
Create(Stream, Stream, Stream, PreTokenizer, Normalizer, Boolean)
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(System.IO.Stream vocabularyStream, System.IO.Stream mergeStream, System.IO.Stream highestOccurrenceMappingStream, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);
static member Create : System.IO.Stream * System.IO.Stream * System.IO.Stream * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyStream As Stream, mergeStream As Stream, highestOccurrenceMappingStream As Stream, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer
Parâmetros
- vocabularyStream
- Stream
O fluxo de um arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.
- mergeStream
- Stream
O fluxo de um arquivo que contém a lista de pares dos tokens.
- highestOccurrenceMappingStream
- Stream
Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.
- preTokenizer
- PreTokenizer
O pré-tokenizador a ser usado.
- normalizer
- Normalizer
O normalizador a ser usado.
- filterUnsupportedChars
- Boolean
Indique se deseja filtrar os caracteres sem suporte durante a decodificação.
Retornos
Comentários
Ao criar o tokenizador, verifique se o fluxo de vocabulário é originado de um provedor confiável.
Aplica-se a
Create(String, String, String, PreTokenizer, Normalizer, Boolean)
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
- Origem:
- EnglishRobertaTokenizer.cs
Crie o objeto de modelo do tokenizer a ser usado com o modelo robert inglês.
public static Microsoft.ML.Tokenizers.EnglishRobertaTokenizer Create(string vocabularyPath, string mergePath, string highestOccurrenceMappingPath, Microsoft.ML.Tokenizers.PreTokenizer? preTokenizer = default, Microsoft.ML.Tokenizers.Normalizer? normalizer = default, bool filterUnsupportedChars = true);
static member Create : string * string * string * Microsoft.ML.Tokenizers.PreTokenizer * Microsoft.ML.Tokenizers.Normalizer * bool -> Microsoft.ML.Tokenizers.EnglishRobertaTokenizer
Public Shared Function Create (vocabularyPath As String, mergePath As String, highestOccurrenceMappingPath As String, Optional preTokenizer As PreTokenizer = Nothing, Optional normalizer As Normalizer = Nothing, Optional filterUnsupportedChars As Boolean = true) As EnglishRobertaTokenizer
Parâmetros
- vocabularyPath
- String
O caminho do arquivo JSON que contém o dicionário de chaves de cadeia de caracteres e suas IDs.
- mergePath
- String
O caminho do arquivo que contém a lista de pares dos tokens.
- highestOccurrenceMappingPath
- String
Remapee as IDs do modelo GPT-2 originais para altas classificações e valores de ocorrência.
- preTokenizer
- PreTokenizer
O pré-tokenizador a ser usado.
- normalizer
- Normalizer
O normalizador a ser usado.
- filterUnsupportedChars
- Boolean
Indique se deseja filtrar os caracteres sem suporte durante a decodificação.
Retornos
Comentários
Ao criar o tokenizador, verifique se o arquivo de vocabulário é originado de um provedor confiável.