TiktokenTokenizer Klasa
Definicja
Ważne
Niektóre informacje odnoszą się do produktu w wersji wstępnej, który może zostać znacząco zmodyfikowany przed wydaniem. Firma Microsoft nie udziela żadnych gwarancji, jawnych lub domniemanych, w odniesieniu do informacji podanych w tym miejscu.
Reprezentuje tokenizer kodowania szybkiej pary bajtów.
public sealed class TiktokenTokenizer : Microsoft.ML.Tokenizers.Tokenizertype TiktokenTokenizer = class
inherit TokenizerPublic NotInheritable Class TiktokenTokenizer
Inherits Tokenizer- Dziedziczenie
Właściwości
| Nazwa | Opis |
|---|---|
| Normalizer |
Pobiera moduł normalizer używany przez tokenizator. |
| PreTokenizer |
Pobiera pretokenizer używany przez tokenizator. |
| SpecialTokens |
Pobiera mapowanie specjalnych tokenów słownika na identyfikatory. |
Metody
| Nazwa | Opis |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer) |
| CountTokens(String, Boolean, Boolean) |
Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Pobierz liczbę tokenów, do których zostanie zakodowany tekst wejściowy. (Odziedziczone po Tokenizer) |
| Create(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
Utwórz nowy obiekt tokenizatora Tiktoken. |
| Create(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32) |
Utwórz nowy obiekt tokenizatora Tiktoken. |
| CreateAsync(Stream, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken) |
Utwórz nowy obiekt tokenizatora Tiktoken asynchronicznie. |
| CreateAsync(String, PreTokenizer, Normalizer, IReadOnlyDictionary<String,Int32>, Int32, CancellationToken) |
Utwórz nowy obiekt tokenizatora Tiktoken asynchronicznie. |
| CreateForEncoding(String, IReadOnlyDictionary<String,Int32>, Normalizer) |
Tworzenie tokenizatora na podstawie nazwy kodowania |
| CreateForModel(String, IReadOnlyDictionary<String,Int32>, Normalizer) |
Tworzenie tokenizatora na podstawie nazwy modelu |
| CreateForModel(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer) |
Utwórz tokenizator Tiktoken na podstawie nazwy modelu i pliku wywołania. |
| CreateForModelAsync(String, Stream, IReadOnlyDictionary<String,Int32>, Int32, Normalizer, CancellationToken) |
Utwórz tokenizator Tiktoken na podstawie nazwy modelu i pliku wywołania. |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Zdekoduj podane identyfikatory z powrotem do tekstu i zapisz wynik w |
| Decode(IEnumerable<Int32>) |
Zdekoduj podane identyfikatory z powrotem do ciągu. |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. (Odziedziczone po Tokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Koduje tekst wejściowy do identyfikatorów tokenu do maksymalnej liczby tokenów. <param name="text">Tekst do zakodowania.</param> (Odziedziczone po Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Koduje tekst wejściowy do identyfikatorów tokenu. (Odziedziczone po Tokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Koduje tekst wejściowy do listy EncodedTokens. (Odziedziczone po Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Znajdź indeks maksymalnej pojemności kodowania bez przekraczania limitu tokenu. (Odziedziczone po Tokenizer) |