RobertaPreTokenizer.PreTokenize Metoda
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Przeciążenia
| Nazwa | Opis |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Pobierz przesunięcia i długości tokenów względem |
| PreTokenize(String) |
Pobierz przesunięcia i długości tokenów względem |
PreTokenize(ReadOnlySpan<Char>)
- Źródło:
- RobertaPreTokenizer.cs
- Źródło:
- RobertaPreTokenizer.cs
- Źródło:
- RobertaPreTokenizer.cs
Pobierz przesunięcia i długości tokenów względem textwartości .
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(ReadOnlySpan<char> text);override this.PreTokenize : ReadOnlySpan<char> -> seq<ValueTuple<int, int>>Public Overrides Function PreTokenize (text As ReadOnlySpan(Of Char)) As IEnumerable(Of ValueTuple(Of Integer, Integer))Parametry
- text
- ReadOnlySpan<Char>
Ciąg, który ma być podzielony na tokeny.
Zwraca
Przesunięcia i długości tokenów, wyrażone jako pary, są względem oryginalnego ciągu.
Dotyczy
PreTokenize(String)
- Źródło:
- RobertaPreTokenizer.cs
- Źródło:
- RobertaPreTokenizer.cs
- Źródło:
- RobertaPreTokenizer.cs
Pobierz przesunięcia i długości tokenów względem textwartości .
public override System.Collections.Generic.IEnumerable<(int Offset, int Length)> PreTokenize(string text);public override System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split> PreTokenize(string? sentence);override this.PreTokenize : string -> seq<ValueTuple<int, int>>override this.PreTokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Split>Public Overrides Function PreTokenize (text As String) As IEnumerable(Of ValueTuple(Of Integer, Integer))Public Overrides Function PreTokenize (sentence As String) As IReadOnlyList(Of Split)Parametry
- textsentence
- String
Ciąg, który ma być podzielony na tokeny.
Zwraca
Przesunięcia i długości tokenów, wyrażone jako pary, są względem oryginalnego ciągu.