AddedToken 構造体
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
既存のモデル ボキャブラリの上にユーザーが追加したトークンを表します。 AddedToken は、次のようなさまざまな状況で必要な動作を指定するように構成できます。
- 1 つの単語にのみ一致させる必要があるかどうか
- WhiteSpace を左または右に含めるかどうか
public struct AddedToken : IEquatable<Microsoft.ML.Tokenizers.AddedToken>type AddedToken = structPublic Structure AddedToken
Implements IEquatable(Of AddedToken)- 継承
-
AddedToken
- 実装
コンストラクター
| 名前 | 説明 |
|---|---|
| AddedToken() |
新しい AddedToken オブジェクトを作成します。 |
| AddedToken(String, Boolean) |
特定のコンテンツから新しい AddedToken オブジェクトを作成し、特殊なトークンを使用するかどうかを指定します。 特別なトークンは、既定では正規化されません。 |
プロパティ
| 名前 | 説明 |
|---|---|
| Content |
追加されたトークンの内容を取得または設定します。 |
メソッド
| 名前 | 説明 |
|---|---|
| Equals(AddedToken) |
2 つのトークン インスタンスが等しいかどうかを判断します。 |
| GetHashCode() |
現在のトークンのハッシュ コードを返します。 |
演算子
| 名前 | 説明 |
|---|---|
| Implicit(String to AddedToken) |
文字列オブジェクトから AddedToken への暗黙的な変換を定義します。 |