Tokenizer.DefaultTokenizerImpl(String, String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
在空格和標點符號上中斷的簡單Tokenizer。 唯一完成的正規化是小寫。
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)參數
- text
- String
輸入文字。
- locale
- String
選擇性，識別輸入文字的地區設定。
傳回
令牌清單。
備註
這是演算法 JavaScript 實作的完全移植版本，只是這裡使用 .NET 函式庫函式取代 JavaScript 字串碼點函式。