Tokenizer.DefaultTokenizerImpl(String, String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Einfacher Tokenizer, der auf Leerzeichen und Interpunktion umbricht. Die einzige Normalisierung erfolgt in Kleinbuchstaben.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parameter
- text
- String
Der Eingabetext.
- locale
- String
Optional, identifiziert das Gebietsschema des Eingabetexts.
Gibt zurück
Eine Liste von Token.
Hinweise
Dies ist ein exakter Port der JavaScript-Implementierung des Algorithmus, mit der Ausnahme, dass hier die .NET-Bibliotheksfunktionen anstelle der JavaScript-String-Codepunktfunktionen verwendet werden.