WordPieceOptions Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: WordPieceOptions.cs

Źródło:: WordPieceOptions.cs

Źródło:: WordPieceOptions.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Opcje tokenizatora programu WordPiece.

public class WordPieceOptions

type WordPieceOptions = class

Public Class WordPieceOptions

Dziedziczenie: Object
WordPieceOptions

Pochodne: Microsoft.ML.Tokenizers.BertOptions

Konstruktory

Nazwa	Opis
WordPieceOptions()	Opcje tokenizatora programu WordPiece.

Właściwości

Nazwa	Opis
ContinuingSubwordPrefix	Pobiera lub ustawia prefiks do użycia dla wyrazów podrzędnych, które nie są pierwszą częścią słowa.
MaxInputCharsPerWord	Pobiera lub ustawia maksymalną liczbę znaków do rozważenia dla pojedynczego słowa.
Normalizer	Pobiera lub ustawia Normalizer wartość , aby zastąpić domyślny normalizator, jeśli jest to konieczne.
PreTokenizer	Pobiera lub ustawia PreTokenizer wartość , aby zastąpić domyślny normalizator, jeśli jest to konieczne.
SpecialTokens	Pobiera lub ustawia specjalne tokeny do użycia.
UnknownToken	Pobiera lub ustawia nieznany token do użycia.

Dotyczy