RegexPreTokenizer Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Pre-tokenizer dla tokenizatora Tiktoken.
public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizertype RegexPreTokenizer = class
inherit PreTokenizerPublic NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer- Dziedziczenie
Konstruktory
| Nazwa | Opis |
|---|---|
| RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>) |
Inicjuje nowe wystąpienie klasy RegexPreTokenizer. |
Metody
| Nazwa | Opis |
|---|---|
| PreTokenize(ReadOnlySpan<Char>) |
Pobierz przesunięcia i długości tokenów względem |
| PreTokenize(String) |
Pobierz przesunięcia i długości tokenów względem |