WordPieceOptions Klasse

Definition

Namespace:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Paket:: Microsoft.ML.Tokenizers v1.0.1

Paket:: Microsoft.ML.Tokenizers v0.22.0

Paket:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Quelle:: WordPieceOptions.cs

Quelle:: WordPieceOptions.cs

Quelle:: WordPieceOptions.cs

Wichtig

Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.

Optionen für den WordPiece-Tokenizer.

public class WordPieceOptions

type WordPieceOptions = class

Public Class WordPieceOptions

Vererbung: Object
WordPieceOptions

Abgeleitet: Microsoft.ML.Tokenizers.BertOptions

Konstruktoren

Name	Beschreibung
WordPieceOptions()	Optionen für den WordPiece-Tokenizer.

Eigenschaften

Name	Beschreibung
ContinuingSubwordPrefix	Ruft das Präfix ab, das für Unterwörter verwendet werden soll, die nicht der erste Teil eines Worts sind, oder legt es fest.
MaxInputCharsPerWord	Ruft die maximale Anzahl von Zeichen ab, die für ein einzelnes Wort berücksichtigt werden sollen, oder legt diese fest.
Normalizer	Dient zum Abrufen oder Festlegen des Normalizer Außerkraftsetzens des Standardnormalizers, falls gewünscht.
PreTokenizer	Dient zum Abrufen oder Festlegen des PreTokenizer Außerkraftsetzens des Standardnormalizers, falls gewünscht.
SpecialTokens	Ruft die zu verwendenden speziellen Token ab oder legt sie fest.
UnknownToken	Ruft das zu verwendende unbekannte Token ab oder legt es fest.

Gilt für: