Tokenizer.DefaultTokenizerImpl(String, String) Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Tokenizzatore semplice che interrompe gli spazi e la punteggiatura. L'unica normalizzazione eseguita è quella minuscola.
public static System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token> DefaultTokenizerImpl(string text, string locale = default);static member DefaultTokenizerImpl : string * string -> System.Collections.Generic.List<Microsoft.Bot.Builder.Dialogs.Choices.Token>Public Shared Function DefaultTokenizerImpl (text As String, Optional locale As String = Nothing) As List(Of Token)Parametri
- text
- String
Testo di input.
- locale
- String
Facoltativo, identifica le impostazioni locali del testo di input.
Valori restituiti
Una lista di gettoni.
Commenti
Questa è una versione esatta dell'implementazione JavaScript dell'algoritmo, tranne per il fatto che qui le funzioni della libreria .NET vengono utilizzate al posto delle funzioni di codice JavaScript a stringhe.