WhiteSpace Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Pre-tokenizer dzielący tekst na granicy słowa. Wyraz jest zestawem znaków alfabetu, liczbowego i podkreślenia.
public sealed class WhiteSpace : Microsoft.ML.Tokenizers.PreTokenizertype WhiteSpace = class
inherit PreTokenizerPublic NotInheritable Class WhiteSpace
Inherits PreTokenizer- Dziedziczenie
Konstruktory
| Nazwa | Opis |
|---|---|
| WhiteSpace() |
Pre-tokenizer dzielący tekst na granicy słowa. Wyraz jest zestawem znaków alfabetu, liczbowego i podkreślenia. |
Pola
| Nazwa | Opis |
|---|---|
| Instance |
Pobiera pojedyncze wystąpienie pre-tokenizera WhiteSpace. |
Metody
| Nazwa | Opis |
|---|---|
| PreTokenize(String) |
Dzieli dany ciąg w wielu podciągach na granicę słowa, śledząc przesunięcia wspomnianych podciągów z oryginalnego ciągu. |