WhiteSpace Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Der Vortokenizer, der den Text an der Wortgrenze aufteilt. Das Wort ist eine Reihe von Alphabet-, Numerischen und Unterstrichzeichen.
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- Vererbung
Konstruktoren
| Name | Beschreibung |
|---|---|
| WhiteSpace() |
Der Vortokenizer, der den Text an der Wortgrenze aufteilt. Das Wort ist eine Reihe von Alphabet-, Numerischen und Unterstrichzeichen. |
Felder
| Name | Beschreibung |
|---|---|
| Instance |
Ruft eine Singleton-Instanz des WhiteSpace-Vortokenizers ab. |
Methoden
| Name | Beschreibung |
|---|---|
| PreTokenize(String) |
Teilt die angegebene Zeichenfolge in mehreren Teilzeichenfolgen an der Wortgrenze auf, wobei die Offsets der genannten Teilzeichenfolgen aus der ursprünglichen Zeichenfolge nachverfolgt werden. |