Sprache

BpeTokenizer.UnknownToken Eigenschaft

Definition

Ruft ein unbekanntes Token ab oder legt es fest. Das unbekannte Token, das verwendet werden soll, wenn ein unbekanntes Zeichen auftritt

public string? UnknownToken { get; }
member this.UnknownToken : string
Public ReadOnly Property UnknownToken As String

Eigenschaftswert

Gilt für: