PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Créez une instance de la PreTokenizer classe qui fractionne le texte dans les espaces blancs.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParamètres
- specialTokens
- IReadOnlyDictionary<String,Int32>
Dictionnaire contenant les jetons spéciaux et leurs ID correspondants.
Retours
Pré-tokeniseur qui fractionne le texte dans les espaces blancs.
Remarques
Ce pré-tokenizer utilise le modèle d’expression régulière « \S+ » pour fractionner le texte en jetons.