EncodedToken 結構
定義
重要
部分資訊涉及發行前產品，在發行之前可能會有大幅修改。 Microsoft 對此處提供的資訊，不做任何明確或隱含的瑕疵擔保。
表示由分詞化過程中產生的標記，包含標記子字串、與標記子串相關的 id，以及與原始字串相關的偏移映射。
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- 繼承
-
EncodedToken
- 實作
建構函式
| 名稱 | Description |
|---|---|
| EncodedToken(Int32, String, Range) |
利用標記值、Id，以及偏移映射到原始字串，建構一個新的 Token 物件。 |
屬性
| 名稱 | Description |
|---|---|
| Id |
會取得與該代幣相關的 ID 值。 |
| Offset |
取得對應原始字串的偏移映射。 |
| Value |
取得標記字串值。 |
方法
| 名稱 | Description |
|---|---|
| Equals(EncodedToken) |
表示由分詞化過程中產生的標記，包含標記子字串、與標記子串相關的 id，以及與原始字串相關的偏移映射。 |