PreTokenizer.PreTokenize Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Rufen Sie die Offsets und Längen der Token relativ zur ursprünglichen Zeichenfolge ab. |
| PreTokenize(String) |
Rufen Sie die Offsets und Längen der Token relativ zum |
PreTokenize(ReadOnlySpan<Char>)
- Quelle:
- PreTokenizer.cs
- Quelle:
- PreTokenizer.cs
- Quelle:
- PreTokenizer.cs
Rufen Sie die Offsets und Längen der Token relativ zur ursprünglichen Zeichenfolge ab.
public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);abstract member PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public MustOverride Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parameter
- text
- ReadOnlySpan<Char>
Der Zeichenbereich, der in Token aufgeteilt werden soll.
Gibt zurück
Die Offsets und Längen der Token, ausgedrückt als Paare, sind relativ zur ursprünglichen Zeichenfolge.
Gilt für:
PreTokenize(String)
- Quelle:
- PreTokenizer.cs
- Quelle:
- PreTokenizer.cs
- Quelle:
- PreTokenizer.cs
Rufen Sie die Offsets und Längen der Token relativ zum text.
public abstract System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string sentence);abstract member PreTokenize : string -> seq<ValueTuple<int, int>>abstract member PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public MustOverride Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public MustOverride Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parameter
- textsentence
- String
Die Zeichenfolge, die in Token aufgeteilt werden soll.
Gibt zurück
Die Offsets und Längen der Token, ausgedrückt als Paare, sind relativ zur ursprünglichen Zeichenfolge.