PreTokenizer.CreateWhiteSpace(IReadOnlyDictionary<String,Int32>) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
建立一個新的類別實例 PreTokenizer ，在空白處分割文字。
public static Microsoft.ML.Tokenizers.PreTokenizer CreateWhiteSpace(System.Collections.Generic.IReadOnlyDictionary<string,int>? specialTokens = default);static member CreateWhiteSpace : System.Collections.Generic.IReadOnlyDictionary<string, int> -> Microsoft.ML.Tokenizers.PreTokenizerPublic Shared Function CreateWhiteSpace (Optional specialTokens As IReadOnlyDictionary(Of String, Integer) = Nothing) As PreTokenizer參數
- specialTokens
- IReadOnlyDictionary<String,Int32>
包含特殊標記及其對應 ID 的字典。
傳回
那個在空白處分割文字的前分詞器。
備註
這個預分詞器使用正則表達式「\S+」來將文字拆分成多個標記。