WhiteSpace.PreTokenize(String) Metodo
Definizione
Importante
Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.
Divide la stringa specificata in più sottostringhe al limite della parola, tenendo traccia degli offset delle sottostringhe indicate dalla stringa originale.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parametri
- sentence
- String
Stringa da dividere in token.
Valori restituiti
Elenco delle divisioni contenenti i token e gli offset del token nella stringa originale.