SentencePieceTokenizer.ByteFallback Eigenschaft
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
Gibt an, ob das Modell ein Byte-Fallback ausführen wird, wenn während des Codierungsprozesses unbekannte Token auftreten.
public bool ByteFallback { get; }member this.ByteFallback : boolPublic ReadOnly Property ByteFallback As Boolean