RegexPreTokenizer クラス

定義

重要

一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。

Tiktoken トークナイザーの事前トークナイザー。

public sealed class RegexPreTokenizer : Microsoft.ML.Tokenizers.PreTokenizer

type RegexPreTokenizer = class
    inherit PreTokenizer

Public NotInheritable Class RegexPreTokenizer
Inherits PreTokenizer

名前	説明
RegexPreTokenizer(Regex, IReadOnlyDictionary<String,Int32>)	RegexPreTokenizer クラスの新しいインスタンスを初期化します。

名前	説明
PreTokenize(ReadOnlySpan<Char>)	`text`に対する相対トークンのオフセットと長さを取得します。
PreTokenize(String)	`text`に対する相対トークンのオフセットと長さを取得します。