Tokenizer.DefaultTokenizerImpl(String, String) Metoda

Definicja

Przestrzeń nazw:: Microsoft.Bot.Builder.Dialogs.Choices

Zestaw:: Microsoft.Bot.Builder.Dialogs.dll

Pakiet:: Microsoft.Bot.Builder.Dialogs v4.22.7

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Prosty tokenizer, który przerywa spacje i znaki interpunkcyjne. Jedyną normalizacją jest używanie małych liter.

public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);

static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>

Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)

Parametry

text: String

Tekst wejściowy.

locale: String

Opcjonalnie, identyfikuje lokalizację tekstu wejściowego.

Zwraca

List<Token>

Lista żetonów.

Uwagi

Jest to dokładny port implementacji JavaScript algorytmu, z tą różnicą, że tutaj funkcje biblioteki .NET są używane zamiast funkcji kodu kodowego JavaScript.

Dotyczy