Tokenizer.Encode(String) 方法
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
將輸入文字編碼為物件，包含標記列表、標記 Id、標記偏移映射。
public Microsoft.ML.Tokenizers.TokenizerResult Encode(string sequence);member this.Encode : string -> Microsoft.ML.Tokenizers.TokenizerResultPublic Function Encode (sequence As String) As TokenizerResult參數
- sequence
- String
文字要標記化。
傳回
分詞化結果包括標記列表、標記 ID、標記偏移映射。