PreTokenizer 類別

定義

重要

部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。

所有前分詞器類別的基礎類別。 PreTokenizer 負責執行預分段步驟。

public abstract class PreTokenizer

type PreTokenizer = class

Public MustInherit Class PreTokenizer

衍生: Microsoft.ML.Tokenizers.RegexPreTokenizer

Microsoft.ML.Tokenizers.RobertaPreTokenizer

Microsoft.ML.Tokenizers.WhiteSpace

名稱	Description
PreTokenizer()	所有前分詞器類別的基礎類別。 PreTokenizer 負責執行預分段步驟。

名稱	Description
CreateWhiteSpace(IReadOnlyDictionary<String,Int32>)	建立一個新的類別實例 PreTokenizer ，在空白處分割文字。
CreateWordOrNonWord(IReadOnlyDictionary<String,Int32>)	建立一個新的類別實例 PreTokenizer ，在詞或非詞語邊界拆分文本。這個單字是一組字母、數字和底線符號。
CreateWordOrPunctuation(IReadOnlyDictionary<String,Int32>)	建立一個新的類別實例 PreTokenizer ，將文字分割到空白或標點符號處。
PreTokenize(ReadOnlySpan<Char>)	取得標記相對於原始字串的偏移量和長度。
PreTokenize(String)	取得符號相對於 `text`的偏移量與長度。