TokenizerResult クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
エンコードは、トークナイザーの出力を表します。
public sealed class TokenizerResulttype TokenizerResult = classPublic NotInheritable Class TokenizerResult- 継承
-
TokenizerResult
コンストラクター
| 名前 | 説明 |
|---|---|
| TokenizerResult(String, String, IReadOnlyList<Split>, Boolean) |
TokenizerResult オブジェクトの新しいオブジェクトを作成します。 |
プロパティ
| 名前 | 説明 |
|---|---|
| Ids |
トークン ID の一覧を取得します。 ID は、言語モデルへの主な入力です。 これらはトークン インデックスであり、LM が理解する数値表現です。 |
| NormalizedString |
元の文字列の正規化された形式を取得します。 |
| Offsets |
オフセットの一覧を取得します。 これらのオフセットを使用して、入力文字列をスライスし、対応するトークンの生成につながった元の部分を取得します。 |
| OffsetsMappedToOriginalString |
元の文字列の正規化された形式を取得します。 |
| OriginalString |
トークン化された元の文字列を取得します。 |
| Tokens |
生成されたトークンを取得します。 ID の文字列表現です。 |