SentencePieceTokenizer.ByteFallback プロパティ
定義
重要
一部の情報は、リリース前に大きく変更される可能性があるプレリリースされた製品に関するものです。 Microsoft は、ここに記載されている情報について、明示または黙示を問わず、一切保証しません。
エンコード プロセス中に不明なトークンが検出されたときに、モデルがバイト フォールバックを実行するかどうかを指定します。
public bool ByteFallback { get; }member this.ByteFallback : boolPublic ReadOnly Property ByteFallback As Boolean