EncodedToken 構造体
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
トークン部分文字列、トークン部分文字列に関連付けられた ID、および元の文字列へのオフセット マッピングを含むトークン化プロセスから生成されたトークンを表します。
public readonly struct EncodedToken : IEquatable<Microsoft.ML.Tokenizers.EncodedToken>type EncodedToken = structPublic Structure EncodedToken
Implements IEquatable(Of EncodedToken)- 継承
-
EncodedToken
- 実装
コンストラクター
| 名前 | 説明 |
|---|---|
| EncodedToken(Int32, String, Range) |
トークン値、ID、および元の文字列へのオフセット マッピングを使用して、新しい Token オブジェクトを構築します。 |
プロパティ
| 名前 | 説明 |
|---|---|
| Id |
トークンに関連付けられている ID 値を取得します。 |
| Offset |
元の文字列へのオフセット マッピングを取得します。 |
| Value |
トークン文字列値を取得します。 |
メソッド
| 名前 | 説明 |
|---|---|
| Equals(EncodedToken) |
トークン部分文字列、トークン部分文字列に関連付けられた ID、および元の文字列へのオフセット マッピングを含むトークン化プロセスから生成されたトークンを表します。 |