RegexPreTokenizer.PreTokenize Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Rufen Sie die Offsets und Längen der Token relativ zum |
| PreTokenize(String) |
Rufen Sie die Offsets und Längen der Token relativ zum |
PreTokenize(ReadOnlySpan<Char>)
- Quelle:
- RegexPreTokenizer.cs
- Quelle:
- RegexPreTokenizer.cs
- Quelle:
- RegexPreTokenizer.cs
Rufen Sie die Offsets und Längen der Token relativ zum text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parameter
- text
- ReadOnlySpan<Char>
Die Zeichenfolge, die in Token aufgeteilt werden soll.
Gibt zurück
Die Offsets und Längen der Token, ausgedrückt als Paare, sind relativ zur ursprünglichen Zeichenfolge.
Gilt für:
PreTokenize(String)
- Quelle:
- RegexPreTokenizer.cs
- Quelle:
- RegexPreTokenizer.cs
- Quelle:
- RegexPreTokenizer.cs
Rufen Sie die Offsets und Längen der Token relativ zum text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);override this.PreTokenize : string -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parameter
- text
- String
Die Zeichenfolge, die in Token aufgeteilt werden soll.
Gibt zurück
Die Offsets und Längen der Token, ausgedrückt als Paare, sind relativ zur ursprünglichen Zeichenfolge.