PreTokenizer.CreateWordOrPunctuation 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
建立一個新的類別實例 PreTokenizer ，將文字分割到空白或標點符號處。
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWordOrPunctuation(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWordOrPunctuation : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWordOrPunctuation (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizer參數
- specialTokens
- IReadOnlyDictionary<String,Int32>
包含特殊標記及其對應 ID 的字典。
傳回
預分詞器會在空白或標點符號處分割文字。
備註
此預分詞器使用正則表達式模式「\w+|[\p{P}]」來將文字分割成標記。