WordPieceTokenizer Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: WordPieceTokenizer.cs

Źródło:: WordPieceTokenizer.cs

Źródło:: WordPieceTokenizer.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

Reprezentuje tokenizer programu WordPiece.

public class WordPieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer

type WordPieceTokenizer = class
    inherit Tokenizer

Public Class WordPieceTokenizer
Inherits Tokenizer

Dziedziczenie: Object

Tokenizer
WordPieceTokenizer

Pochodne: Microsoft.ML.Tokenizers.BertTokenizer

Uwagi

Tokenizer programu WordPiece to tokenizer wyrazów podrzędnych, który jest używany w modelach BERT i innych modeli przekształcania. Implementacja jest oparta na tokenizatorze WordPiece rozpoznawania twarzy przytulania https://huggingface.co/docs/tokenizers/api/models#tokenizers.models.WordPiece.

Właściwości

Nazwa	Opis
ContinuingSubwordPrefix	Pobiera prefiks używany dla wyrazów podrzędnych, które nie są pierwszą częścią słowa.
MaxInputCharsPerWord	Pobiera maksymalną liczbę znaków do autoryzowania w jednym słowie.
Normalizer	Pobiera moduł normalizer używany przez tokenizator.
PreTokenizer	Pobiera pretokenizer używany przez tokenizator.
SpecialTokens	Pobiera tokeny specjalne i odpowiadające im identyfikatory.
UnknownToken	Pobiera nieznany token. Token, który nie znajduje się w słownictwie, nie może być konwertowany na identyfikator i jest ustawiony jako ten token.
UnknownTokenId	Pobiera nieznany identyfikator tokenu. Token, który nie znajduje się w słownictwie, nie może być konwertowany na identyfikator i jest ustawiony jako ten token.

Metody

Nazwa	Opis
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer)
CountTokens(String, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
Create(Stream, WordPieceOptions)	Utwórz nowe wystąpienie klasy WordPieceTokenizer.
Create(String, WordPieceOptions)	Utwórz nowe wystąpienie klasy WordPieceTokenizer.
CreateAsync(Stream, WordPieceOptions, CancellationToken)	Utwórz nowe wystąpienie WordPieceTokenizer klasy asynchronicznie.
CreateAsync(String, WordPieceOptions, CancellationToken)	Utwórz nowe wystąpienie WordPieceTokenizer klasy asynchronicznie.
Decode(IEnumerable<Int32>, Boolean)	Zdekoduj podane identyfikatory z powrotem do ciągu.
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)	Zdekoduj podane identyfikatory z powrotem do tekstu i zapisz wynik w `destination` zakresie.
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	Zdekoduj podane identyfikatory z powrotem do tekstu i zapisz wynik w `destination` zakresie.
Decode(IEnumerable<Int32>)	Zdekoduj podane identyfikatory z powrotem do ciągu.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. (Odziedziczone po Tokenizer)
EncodeToIds(String, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. <param name="text">Tekst do zakodowania.</param> (Odziedziczone po Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Koduje tekst wejściowy do listy EncodedTokens.
EncodeToTokens(String, String, Boolean, Boolean)	Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu.
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)

Dotyczy