BpeDecoder クラス
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
すべてのトークンを結合し、単語の終わりを空白で識別するために使用されるサフィックスを置き換えることで、元の BPE をデコードできるようにします
public sealed class BpeDecoder : Microsoft.ML.Tokenizers.TokenizerDecodertype BpeDecoder = class
inherit TokenizerDecoderPublic NotInheritable Class BpeDecoder
Inherits TokenizerDecoder- 継承
コンストラクター
| 名前 | 説明 |
|---|---|
| BpeDecoder() |
新しい Bpe デコーダー オブジェクトを構築します。 |
| BpeDecoder(String) |
新しい Bpe デコーダー オブジェクトを構築します。 |
メソッド
| 名前 | 説明 |
|---|---|
| Decode(IEnumerable<String>) |
すべてのトークンを結合し、単語の終わりを空白で識別するために使用されるサフィックスを置き換えて、元の BPE をデコードします。 |