WhiteSpace.PreTokenize(String) Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Teilt die angegebene Zeichenfolge in mehreren Teilzeichenfolgen an der Wortgrenze auf, wobei die Offsets der genannten Teilzeichenfolgen aus der ursprünglichen Zeichenfolge nachverfolgt werden.
public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parameter
- sentence
- String
Die Zeichenfolge, die in Token aufgeteilt werden soll.
Gibt zurück
Die Liste der Splits, die die Token enthalten, und die Offsets des Tokens auf die ursprüngliche Zeichenfolge.