BertOptions Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: BertOptions.cs

Źródło:: BertOptions.cs

Źródło:: BertOptions.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Opcje tokenizatora Bert.

public sealed class BertOptions : Microsoft.ML.Tokenizers.WordPieceOptions

type BertOptions = class
    inherit WordPieceOptions

Public NotInheritable Class BertOptions
Inherits WordPieceOptions

Dziedziczenie: Object

WordPieceOptions
BertOptions

Konstruktory

Nazwa	Opis
BertOptions()	Opcje tokenizatora Bert.

Właściwości

Nazwa	Opis
ApplyBasicTokenization	Pobiera lub ustawia wartość wskazującą, czy należy zastosować tokenizację podstawową.
ClassificationToken	Pobiera lub ustawia token klasyfikacji do użycia.
ContinuingSubwordPrefix	Pobiera lub ustawia prefiks do użycia dla wyrazów podrzędnych, które nie są pierwszą częścią słowa. (Odziedziczone po WordPieceOptions)
IndividuallyTokenizeCjk	Pobiera lub ustawia wartość wskazującą, czy tokenizować znaki CJK w oddzielnych tokenach.
LowerCaseBeforeTokenization	Pobiera lub ustawia wartość wskazującą, czy należy zmniejszyć wielkość liter danych wejściowych przed tokenizacją.
MaskingToken	Pobiera lub ustawia token maskowania do użycia.
MaxInputCharsPerWord	Pobiera lub ustawia maksymalną liczbę znaków do rozważenia dla pojedynczego słowa. (Odziedziczone po WordPieceOptions)
Normalizer	Pobiera lub ustawia Normalizer wartość , aby zastąpić domyślny normalizator, jeśli jest to konieczne. (Odziedziczone po WordPieceOptions)
PaddingToken	Pobiera lub ustawia token dopełnienia do użycia.
PreTokenizer	Pobiera lub ustawia PreTokenizer wartość , aby zastąpić domyślny normalizator, jeśli jest to konieczne. (Odziedziczone po WordPieceOptions)
RemoveNonSpacingMarks	Pobiera lub ustawia wartość wskazującą, czy usunąć znaki inne niż odstępy.
SeparatorToken	Pobiera lub ustawia token separatora do użycia.
SpecialTokens	Pobiera lub ustawia specjalne tokeny do użycia. (Odziedziczone po WordPieceOptions)
SplitOnSpecialTokens	Pobiera lub ustawia wartość wskazującą, czy należy podzielić na tokeny specjalne.
UnknownToken	Pobiera lub ustawia nieznany token do użycia. (Odziedziczone po WordPieceOptions)

Dotyczy