Language

BpeTokenizer.UnknownToken プロパティ

定義

不明なトークンを取得または設定します。 不明な文字が発生したときに使用される不明なトークン

public string? UnknownToken { get; }
member this.UnknownToken : string
Public ReadOnly Property UnknownToken As String

プロパティ値

適用対象