RobertaPreTokenizer.PreTokenize Methode
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Überlädt
| Name | Beschreibung |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Rufen Sie die Offsets und Längen der Token relativ zum |
| PreTokenize(String) |
Rufen Sie die Offsets und Längen der Token relativ zum |
PreTokenize(ReadOnlySpan<Char>)
- Quelle:
- RobertaPreTokenizer.cs
- Quelle:
- RobertaPreTokenizer.cs
- Quelle:
- RobertaPreTokenizer.cs
Rufen Sie die Offsets und Längen der Token relativ zum text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parameter
- text
- ReadOnlySpan<Char>
Die Zeichenfolge, die in Token aufgeteilt werden soll.
Gibt zurück
Die Offsets und Längen der Token, ausgedrückt als Paare, sind relativ zur ursprünglichen Zeichenfolge.
Gilt für:
PreTokenize(String)
- Quelle:
- RobertaPreTokenizer.cs
- Quelle:
- RobertaPreTokenizer.cs
- Quelle:
- RobertaPreTokenizer.cs
Rufen Sie die Offsets und Längen der Token relativ zum text.
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> seq<ValueTuple<int, int>>override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parameter
- textsentence
- String
Die Zeichenfolge, die in Token aufgeteilt werden soll.
Gibt zurück
Die Offsets und Längen der Token, ausgedrückt als Paare, sind relativ zur ursprünglichen Zeichenfolge.