WordPieceTokenizer Classe

Definizione

Spazio dei nomi:: Microsoft.ML.Tokenizers

Assembly:: Microsoft.ML.Tokenizers.dll

Pacchetto:: Microsoft.ML.Tokenizers v1.0.1

Pacchetto:: Microsoft.ML.Tokenizers v0.22.0

Pacchetto:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Origine:: WordPieceTokenizer.cs

Origine:: WordPieceTokenizer.cs

Origine:: WordPieceTokenizer.cs

Importante

Alcune informazioni sono relative alla release non definitiva del prodotto, che potrebbe subire modifiche significative prima della release definitiva. Microsoft non riconosce alcuna garanzia, espressa o implicita, in merito alle informazioni qui fornite.

Rappresenta il tokenizer WordPiece.

public class WordPieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer

type WordPieceTokenizer = class
    inherit Tokenizer

Public Class WordPieceTokenizer
Inherits Tokenizer

Ereditarietà: Object

Tokenizer
WordPieceTokenizer

Derivato: Microsoft.ML.Tokenizers.BertTokenizer

Commenti

Il tokenizer WordPiece è un tokenizer di sotto-parola usato in BERT e in altri modelli di trasformatore. L'implementazione si basa sul token hugging Face WordPiece https://huggingface.co/docs/tokenizers/api/models#tokenizers.models.WordPiece.

Proprietà

Nome	Descrizione
ContinuingSubwordPrefix	Ottiene il prefisso da utilizzare per le parole secondarie che non sono la prima parte di una parola.
MaxInputCharsPerWord	Ottiene il numero massimo di caratteri da autorizzare in una singola parola.
Normalizer	Ottiene il normalizer in uso dal tokenizer.
PreTokenizer	Ottiene il preTokenizer utilizzato dal tokenizer.
SpecialTokens	Ottiene i token speciali e gli ID corrispondenti.
UnknownToken	Ottiene il token sconosciuto. Un token non incluso nel vocabolario non può essere convertito in un ID ed è impostato come token.
UnknownTokenId	Ottiene l'ID del token sconosciuto. Un token non incluso nel vocabolario non può essere convertito in un ID ed è impostato come token.

Metodi

Nome	Descrizione
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da Tokenizer)
CountTokens(String, Boolean, Boolean)	Ottenere il numero di token a cui verrà codificato il testo di input. (Ereditato da Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Ottenere il numero di token a cui verrà codificato il testo di input.
Create(Stream, WordPieceOptions)	Creare una nuova istanza della WordPieceTokenizer classe .
Create(String, WordPieceOptions)	Creare una nuova istanza della WordPieceTokenizer classe .
CreateAsync(Stream, WordPieceOptions, CancellationToken)	Creare una nuova istanza della WordPieceTokenizer classe in modo asincrono.
CreateAsync(String, WordPieceOptions, CancellationToken)	Creare una nuova istanza della WordPieceTokenizer classe in modo asincrono.
Decode(IEnumerable<Int32>, Boolean)	Decodificare gli ID specificati, tornare a un valore String.
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)	Decodificare gli ID specificati nel testo e archiviare il risultato nell'intervallo `destination` .
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	Decodificare gli ID specificati nel testo e archiviare il risultato nell'intervallo `destination` .
Decode(IEnumerable<Int32>)	Decodificare gli ID specificati, tornare a un valore String.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Codifica il testo di input in ID token. (Ereditato da Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Codifica il testo di input in ID token fino al numero massimo di token. (Ereditato da Tokenizer)
EncodeToIds(String, Boolean, Boolean)	Codifica il testo di input in ID token. (Ereditato da Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Codifica il testo di input in ID token fino al numero massimo di token. <param name="text">Testo da codificare.</param> (Ereditato da Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica il testo di input in ID token.
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	Codifica il testo di input in un elenco di EncodedToken. (Ereditato da Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Codifica il testo di input in un elenco di EncodedToken.
EncodeToTokens(String, String, Boolean, Boolean)	Codifica il testo di input in un elenco di EncodedToken. (Ereditato da Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	Trovare l'indice della capacità di codifica massima senza superare il limite di token.
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	Trovare l'indice della capacità di codifica massima senza superare il limite di token. (Ereditato da Tokenizer)

Si applica a