PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) Método
Definição
Importante
Algumas informações se referem a produtos de pré-lançamento que podem ser substancialmente modificados antes do lançamento. A Microsoft não oferece garantias, expressas ou implícitas, das informações aqui fornecidas.
Crie uma nova instância da PreTokenizer classe que divide o texto nos espaços em branco.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParâmetros
- specialTokens
- IReadOnlyDictionary<String,Int32>
O dicionário que contém os tokens especiais e suas IDs correspondentes.
Retornos
O pré-tokenizador que divide o texto nos espaços em branco.
Comentários
Esse pré-tokenizador usa o padrão regex "\S+" para dividir o texto em tokens.