WhiteSpace Classe
Définition
Important
Certaines informations portent sur la préversion du produit qui est susceptible d’être en grande partie modifiée avant sa publication. Microsoft exclut toute garantie, expresse ou implicite, concernant les informations fournies ici.
Pré-tokeniseur qui fractionne le texte à la limite du mot. Le mot est un ensemble d’alphabets, de caractères numériques et de trait de soulignement.
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- Héritage
Constructeurs
| Nom | Description |
|---|---|
| WhiteSpace() |
Pré-tokeniseur qui fractionne le texte à la limite du mot. Le mot est un ensemble d’alphabets, de caractères numériques et de trait de soulignement. |
Champs
| Nom | Description |
|---|---|
| Instance |
Obtient une instance singleton du pré-tokenizer WhiteSpace. |
Méthodes
| Nom | Description |
|---|---|
| PreTokenize(String) |
Fractionne la chaîne donnée dans plusieurs sous-chaînes au niveau de la limite du mot, en conservant le suivi des décalages des sous-chaînes indiquées de la chaîne d’origine. |