Tokenizer.DefaultTokenizerImpl(String, String) Methode
Definitie
Belangrijk
Bepaalde informatie heeft betrekking op een voorlopige productversie die aanzienlijk kan worden gewijzigd voordat deze wordt uitgebracht. Microsoft biedt geen enkele expliciete of impliciete garanties met betrekking tot de informatie die hier wordt verstrekt.
Eenvoudige tokenizer die afbreekt op spaties en leestekens. De enige normalisatie is kleine letters.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parameters
- text
- String
De invoertekst.
- locale
- String
Optioneel, identificeert de locatie van de invoertekst.
Retouren
Een lijst met tokens.
Opmerkingen
Dit is een exacte port van de JavaScript-implementatie van het algoritme, behalve dat hier de .NET-bibliotheekfuncties worden gebruikt in plaats van de JavaScript-stringcodepuntfuncties.