LlamaTokenizer Klasse
Definition
Wichtig
Einige Informationen beziehen sich auf Vorabversionen, die vor dem Release ggf. grundlegend überarbeitet werden. Microsoft übernimmt hinsichtlich der hier bereitgestellten Informationen keine Gewährleistungen, seien sie ausdrücklich oder konkludent.
LlamaTokenizer ist SentencePieceTokenizer, das basierend auf https://github.com/google/sentencepiece.
public sealed class LlamaTokenizer : Microsoft.ML.Tokenizers.SentencePieceTokenizertype LlamaTokenizer = class
inherit SentencePieceTokenizerPublic NotInheritable Class LlamaTokenizer
Inherits SentencePieceTokenizer- Vererbung
Eigenschaften
| Name | Beschreibung |
|---|---|
| AddBeginningOfSentence |
Geben Sie den Anfang des Satztokens während der Codierung an. (Geerbt von SentencePieceTokenizer) |
| AddDummyPrefix |
Geben Sie das Präfixzeichen U+2581 am Anfang des Satztokens während der Normalisierung und Codierung an. (Geerbt von SentencePieceTokenizer) |
| AddEndOfSentence |
Geben Sie während der Codierung das Ende des Satztokens an. (Geerbt von SentencePieceTokenizer) |
| BeginningOfSentenceId |
Die ID des Satzanfangstokens. (Geerbt von SentencePieceTokenizer) |
| BeginningOfSentenceToken |
Der Anfang des Satztokens. (Geerbt von SentencePieceTokenizer) |
| ByteFallback |
Gibt an, ob das Modell ein Byte-Fallback ausführen wird, wenn während des Codierungsprozesses unbekannte Token auftreten. (Geerbt von SentencePieceTokenizer) |
| EndOfSentenceId |
Die ID des Endes des Satztokens. (Geerbt von SentencePieceTokenizer) |
| EndOfSentenceToken |
Das Ende des Satztokens. (Geerbt von SentencePieceTokenizer) |
| EscapeWhiteSpaces |
Geben Sie an, ob die Leerzeichen während der Normalisierung und Codierung durch Zeichen U+2581 ersetzt werden sollen. (Geerbt von SentencePieceTokenizer) |
| Normalizer |
Ruft den vom Tokenizer verwendeten Normalizer ab. (Geerbt von SentencePieceTokenizer) |
| PreTokenizer |
Ruft das vom Tokenizer verwendete PreTokenizer ab. (Geerbt von SentencePieceTokenizer) |
| SpecialTokens |
Die speziellen Token. (Geerbt von SentencePieceTokenizer) |
| TreatWhitespaceAsSuffix |
Geben Sie das Zeichen U+2581 am Ende des letzten Satztokens anstelle des Satzanfangstokens während der Normalisierung und Codierung an. (Geerbt von SentencePieceTokenizer) |
| UnknownId |
Die ID des unbekannten Tokens. (Geerbt von SentencePieceTokenizer) |
| UnknownToken |
Das unbekannte Token. (Geerbt von SentencePieceTokenizer) |
| Vocabulary |
Das Vokabular des Modells. (Geerbt von SentencePieceTokenizer) |
Methoden
| Name | Beschreibung |
|---|---|
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von SentencePieceTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von SentencePieceTokenizer) |
| CountTokens(ReadOnlySpan<Char>, Boolean, Boolean) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von Tokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean, String, Int32, Int32) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von SentencePieceTokenizer) |
| CountTokens(String, Boolean, Boolean, Boolean, Boolean) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von SentencePieceTokenizer) |
| CountTokens(String, Boolean, Boolean) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von Tokenizer) |
| CountTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Rufen Sie die Anzahl der Token ab, für die der Eingabetext codiert wird. (Geerbt von SentencePieceTokenizer) |
| Create(Stream, Boolean, Boolean, IReadOnlyDictionary<String,Int32>) |
Erstellen Sie aus dem angegebenen Modellstream einen LlamaTokenizer, der auf SentencePieceTokenizer basiert. Der Modelldatenstrom sollte das SentencePiece Bpe-Modell entsprechend der https://github.com/google/sentencepiece/blob/master/src/sentencepiece_model.proto Spezifikation enthalten. |
| Decode(IEnumerable<Int32>, Boolean) |
Decodieren Sie die angegebenen IDs zurück zu einer Zeichenfolge. (Geerbt von SentencePieceTokenizer) |
| Decode(IEnumerable<Int32>, Span<Char>, Boolean, Int32, Int32) |
Decodieren Sie die angegebenen IDs wieder in Text, und speichern Sie das Ergebnis in der |
| Decode(IEnumerable<Int32>, Span<Char>, Int32, Int32) |
Decodieren Sie die angegebenen IDs wieder in Text, und speichern Sie das Ergebnis in der |
| Decode(IEnumerable<Int32>) |
Decodieren Sie die angegebenen IDs zurück zu einer Zeichenfolge. (Geerbt von SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs. (Geerbt von SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token. (Geerbt von SentencePieceTokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs. (Geerbt von Tokenizer) |
| EncodeToIds(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token. (Geerbt von Tokenizer) |
| EncodeToIds(String, Boolean, Boolean, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs. (Geerbt von SentencePieceTokenizer) |
| EncodeToIds(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token. (Geerbt von SentencePieceTokenizer) |
| EncodeToIds(String, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs. (Geerbt von Tokenizer) |
| EncodeToIds(String, Int32, String, Int32, Boolean, Boolean) |
Codiert Eingabetext in Token-IDs bis zur maximalen Anzahl von Token. <param name="text">Der zu codierenden Text.</param> (Geerbt von Tokenizer) |
| EncodeToIds(String, ReadOnlySpan<Char>, EncodeSettings) |
Codiert Eingabetext in Token-IDs. (Geerbt von SentencePieceTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean, Boolean, Boolean) |
Codiert Eingabetext eine Liste von EncodedTokens mit dem Zeichenfolgenwert des Tokens, der ID und des Offsets. (Geerbt von SentencePieceTokenizer) |
| EncodeToTokens(ReadOnlySpan<Char>, String, Boolean, Boolean) |
Codiert Eingabetext in eine Liste von EncodedTokens. (Geerbt von Tokenizer) |
| EncodeToTokens(String, ReadOnlySpan<Char>, EncodeSettings) |
Codiert Eingabetext in eine Liste von EncodedTokens. (Geerbt von SentencePieceTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean, Boolean, Boolean) |
Codiert Eingabetext eine Liste von EncodedTokens mit dem Zeichenfolgenwert des Tokens, der ID und des Offsets. (Geerbt von SentencePieceTokenizer) |
| EncodeToTokens(String, String, Boolean, Boolean) |
Codiert Eingabetext in eine Liste von EncodedTokens. (Geerbt von Tokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität von Anfang an innerhalb des Texts, ohne den Tokengrenzwert zu überschreiten. (Geerbt von SentencePieceTokenizer) |
| GetIndexByTokenCount(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. (Geerbt von Tokenizer) |
| GetIndexByTokenCount(String, Boolean, Boolean, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität von Anfang an innerhalb des Texts, ohne den Tokengrenzwert zu überschreiten. (Geerbt von SentencePieceTokenizer) |
| GetIndexByTokenCount(String, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. (Geerbt von Tokenizer) |
| GetIndexByTokenCount(String, ReadOnlySpan<Char>, EncodeSettings, Boolean, String, Int32) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. (Geerbt von SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Boolean, Boolean, Int32, Boolean, String, Int32) |
Suchen Sie den Index der maximalen Codierungskapazität vom Ende des Texts, ohne den Tokengrenzwert zu überschreiten. (Geerbt von SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(ReadOnlySpan<Char>, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. (Geerbt von Tokenizer) |
| GetIndexByTokenCountFromEnd(String, Boolean, Boolean, Int32, Boolean, String, Int32) |
Suchen Sie den Index der maximalen Codierungskapazität vom Ende des Texts, ohne den Tokengrenzwert zu überschreiten. (Geerbt von SentencePieceTokenizer) |
| GetIndexByTokenCountFromEnd(String, Int32, String, Int32, Boolean, Boolean) |
Suchen Sie den Index der maximalen Codierungskapazität, ohne die Tokengrenze zu überschreiten. (Geerbt von Tokenizer) |