PreTokenizer.CreateWordOrPunctuation Méthode
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Créez une instance de la PreTokenizer classe qui fractionne le texte à l’espace blanc ou aux caractères de ponctuation.
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizerParamètres
- specialTokens
- IReadOnlyDictionary<String,Int32>
Dictionnaire contenant les jetons spéciaux et leurs ID correspondants.
Retours
Pré-tokeniseur qui fractionne le texte à l’espace blanc ou aux caractères de ponctuation.
Remarques
Ce pré-tokenizer utilise le modèle regex "\w+|[\p{P}] » pour fractionner le texte en jetons.