Tokenizer.DefaultTokenizerImpl(String, String) Método
Definição
Importante
Algumas informações dizem respeito a um produto pré-lançado que pode ser substancialmente modificado antes de ser lançado. A Microsoft não faz garantias, de forma expressa ou implícita, em relação à informação aqui apresentada.
Tokenizador simples que quebra em espaços e pontuação. A única normalização feita é para minúsculas.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parâmetros
- text
- String
O texto de entrada.
- locale
- String
Opcional, identifica a localização do texto de entrada.
Devoluções
Uma lista de fichas.
Observações
Esta é uma adaptação exata da implementação JavaScript do algoritmo, exceto que aqui as funções da biblioteca .NET são usadas em vez das funções de código em cadeia JavaScript.