BertTokenizer.ApplyBasicTokenization Właściwość
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Pobiera wartość wskazującą, czy tokenizator powinien wykonać podstawową tokenizację. Podobnie jak czysty tekst, normalizuj go, małe litery itp.
public bool ApplyBasicTokenization { get; }member this.ApplyBasicTokenization : boolPublic ReadOnly Property ApplyBasicTokenization As Boolean