TokenizerResult 類別
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
編碼代表分詞器的輸出。
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- 繼承
-
TokenizerResult
建構函式
| 名稱 | Description |
|---|---|
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
建立一個 TokenizerResult 物件的新物件。 |
屬性
| 名稱 | Description |
|---|---|
| Ids |
取得代幣的清單 ID。 這些 ID 是語言模型的主要輸入。 它們是代幣指數，LM能理解的數字表示。 |
| NormalizedString |
會得到原始字串的正規化形式。 |
| Offsets |
拿到抵消清單。 這些偏移量讓你切入輸入字串，從而取得導致產生對應標記的原始部分。 |
| OffsetsMappedToOriginalString |
會得到原始字串的正規化形式。 |
| OriginalString |
取得原始分詞字串。 |
| Tokens |
取得產生的代幣。 它們是 Ids 的字串表示。 |