Model.Tokenize(String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
將序列字串分成一個令牌清單。
public abstract System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token> Tokenize(string sequence);abstract member Tokenize : string -> System.Collections.Generic.IReadOnlyList<Microsoft.ML.Tokenizers.Token>Public MustOverride Function Tokenize (sequence As String) As IReadOnlyList(Of Token)參數
- sequence
- String
要標記化的序列。
傳回
序列分詞所產生的符號清單。