Tokenizer.DefaultTokenizerImpl(String, String) Metod
Definition
Viktigt
En del information gäller för förhandsversionen av en produkt och kan komma att ändras avsevärt innan produkten blir allmänt tillgänglig. Microsoft lämnar inga garantier, uttryckliga eller underförstådda, avseende informationen som visas här.
Enkel tokenizer som bryter på blanksteg och skiljetecken. Den enda normaliseringen som görs är med gemener.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parametrar
- text
- String
Inmatningstexten.
- locale
- String
Valfritt, identifierar platsen för inmatningstexten.
Returer
En lista med tokens.
Kommentarer
Detta är en exakt portering av JavaScript-implementeringen av algoritmen, förutom att här används .NET-bibliotekets funktioner istället för JavaScript-strängkodens punktfunktioner.