RegexPreTokenizer Klasse

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: RegexPreTokenizer.cs

Quelle:: RegexPreTokenizer.cs

Quelle:: RegexPreTokenizer.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Der Pre-Tokenizer für Tiktoken-Tokenizer.

public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer

type RegexPreTokenizer = class
    inherit PreTokenizer

Public NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer

Vererbung: Object

PreTokenizer
RegexPreTokenizer

Konstruktoren

Name	Beschreibung
RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>)	Initialisiert eine neue Instanz der RegexPreTokenizer-Klasse.

Methoden

Name	Beschreibung
PreTokenize(ReadOnlySpan<Char>)	Rufen Sie die Offsets und Längen der Token relativ zum `text`.
PreTokenize(String)	Rufen Sie die Offsets und Längen der Token relativ zum `text`.

Gilt für: