Language

BpeDecoder.Decode(IEnumerable<String>) メソッド

定義

すべてのトークンを結合し、単語の終わりを空白で識別するために使用されるサフィックスを置き換えて、元の BPE をデコードします。

public override string Decode(System.Collections.Generic.IEnumerable<string> tokens);
override this.Decode : seq<string> -> string
Public Overrides Function Decode (tokens As IEnumerable(Of String)) As String

パラメーター

tokens
IEnumerable<String>

マージするトークンの一覧。

返品

マージされたすべてのトークンを含む文字列。

適用対象