SentencePieceTokenizer Klasa

Definicja

Przestrzeń nazw:: Microsoft.ML.Tokenizers

Zestaw:: Microsoft.ML.Tokenizers.dll

Pakiet:: Microsoft.ML.Tokenizers v1.0.1

Pakiet:: Microsoft.ML.Tokenizers v0.22.0

Pakiet:: Microsoft.ML.Tokenizers v2.0.0-preview.1.25125.4

Źródło:: SentencePieceTokenizer.cs

Źródło:: SentencePieceTokenizer.cs

Źródło:: SentencePieceTokenizer.cs

Ważne

Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.

SentencePieceBpe to tokenizer, który dzieli dane wejściowe na tokeny przy użyciu modelu SentencePiece Bpe.

public class SentencePieceTokenizer : Microsoft.ML.Tokenizers.Tokenizer

type SentencePieceTokenizer = class
    inherit Tokenizer

Public Class SentencePieceTokenizer
Inherits Tokenizer

Dziedziczenie: Object

Tokenizer
SentencePieceTokenizer

Pochodne: Microsoft.ML.Tokenizers.LlamaTokenizer

Właściwości

Nazwa	Opis
AddBeginningOfSentence	Wskazuje emitowanie początku tokenu zdania podczas kodowania.
AddDummyPrefix	Wskazuje emitowanie znaku prefiksu U+2581 na początku tokenu zdania podczas normalizacji i kodowania.
AddEndOfSentence	Wskazuje emitowanie końca tokenu zdania podczas kodowania.
BeginningOfSentenceId	Identyfikator początku tokenu zdania.
BeginningOfSentenceToken	Początek tokenu zdania.
ByteFallback	Określa, czy model wykona rezerwowy bajt, gdy napotka nieznane tokeny podczas procesu kodowania.
EndOfSentenceId	Identyfikator końca tokenu zdania.
EndOfSentenceToken	Koniec tokenu zdania.
EscapeWhiteSpaces	Określ, czy spacje powinny zostać zastąpione znakiem U+2581 podczas normalizacji i kodowania.
Normalizer	Pobiera moduł normalizer używany przez tokenizator.
PreTokenizer	Pobiera pretokenizer używany przez tokenizator.
SpecialTokens	Tokeny specjalne.
TreatWhitespaceAsSuffix	Wskazuje emitowanie znaku U+2581 na końcu ostatniego tokenu zdania zamiast rozpoczynania tokenu zdania podczas normalizacji i kodowania.
UnknownId	Identyfikator nieznanego tokenu.
UnknownToken	Nieznany token.
Vocabulary	Słownictwo modelu.

Metody

Nazwa	Opis
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(ReadOnlySpan<Char>, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer)
CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(String, Boolean, Boolean, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
CountTokens(String, Boolean, Boolean)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer)
CountTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy.
Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>)	Tworzy wystąpienie obiektu SentencePieceTokenizer. Strumień modelu powinien zawierać model SentencePiece określony w następującej dokumentacji: https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto.
Decode(IEnumerable<Int32>, Boolean)	Zdekoduj podane identyfikatory z powrotem do ciągu.
Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32)	Zdekoduj podane identyfikatory z powrotem do tekstu i zapisz wynik w `destination` zakresie.
Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32)	Zdekoduj podane identyfikatory z powrotem do tekstu i zapisz wynik w `destination` zakresie.
Decode(IEnumerable<Int32>)	Zdekoduj podane identyfikatory z powrotem do ciągu.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów.
EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer)
EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. (Odziedziczone po Tokenizer)
EncodeToIds(String, Boolean, Boolean, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów.
EncodeToIds(String, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer)
EncodeToIds(String, Int32, String, Int32, Boolean, Boolean)	Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. <param name="text">Tekst do zakodowania.</param> (Odziedziczone po Tokenizer)
EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings)	Koduje tekst wejściowy do identyfikatorów tokenu.
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean)	Koduje tekst wejściowy listę EncodedTokens z wartością ciągu tokenu, identyfikatora i przesunięcia.
EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean)	Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer)
EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings)	Koduje tekst wejściowy do listy EncodedTokens.
EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean)	Koduje tekst wejściowy listę EncodedTokens z wartością ciągu tokenu, identyfikatora i przesunięcia.
EncodeToTokens(String, String, Boolean, Boolean)	Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer)
GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania od początku tekstu bez przekroczenia limitu tokenu.
GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)
GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania od początku tekstu bez przekroczenia limitu tokenu.
GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)
GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu.
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32)	Znajdź indeks maksymalnej pojemności kodowania z końca tekstu bez przekraczania limitu tokenu.
GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)
GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32)	Znajdź indeks maksymalnej pojemności kodowania z końca tekstu bez przekraczania limitu tokenu.
GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean)	Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer)

Dotyczy