PreTokenizer.CreateWordOrPunctuation Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Crie uma nova instância da PreTokenizer classe que divide o texto no espaço em branco ou caracteres de pontuação.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParâmetros
- specialTokens
- IReadOnlyDictionary<String,Int32>
O dicionário que contém os tokens especiais e suas IDs correspondentes.
Retornos
O pré-tokenizador que divide o texto no espaço em branco ou caracteres de pontuação.
Comentários
Esse pré-tokenizador usa o padrão regex "\w+|[\p{P}]" para dividir o texto em tokens.